Modelleri yerelde çalıştırma için API'ler, MCP sunucuları ve modeller
Katalogda bunu yapan 3 araç var, ada göre sıralı.
LocalAIPaketRun LLM, image and audio models on your own hardware behind OpenAI-style APIs
OllamaPaketRun open models on your own machine behind a local REST API
vLLMPaketOpen-source engine for serving LLMs with high throughput on GPUs