Il modello gira sul tuo hardware. Quale software scegliere?

Ideale per: usare modelli locali con GUI e provarne diversi senza partire dal terminale.

• Download, gestione e chat dei modelli in un'unica applicazione.
• Server locale e API compatibili con OpenAI; SDK e API REST.
• Runtime basato anche su llama.cpp e MLX; esiste inoltre il daemon headless llmster.

Da considerare: l'app ha più funzioni di quelle necessarie per un semplice server; supporto e velocità dipendono dal modello e dal backend selezionati.

Ideale per: avviare un modello in locale da terminale o renderlo disponibile alle app.

• Flusso semplice per scaricare e lanciare modelli, con servizio locale.
• API Ollama e compatibilità parziale con API OpenAI.
• Comodo per prototipi, scripting e integrazioni personali.

Da considerare: la compatibilità API non significa che ogni endpoint o parametro OpenAI sia supportato; controlla la documentazione per la funzione che ti serve.

Ideale per: chi vuole un'app desktop in stile chatbot e un progetto open source.

• Interfaccia conversazionale e scelta tra modelli aperti o provider collegati.
• Progetto pubblico, con applicazione desktop e documentazione per sviluppatori.
• Alternativa da valutare quando l'esperienza d'uso conta più della messa a punto del server.

Da considerare: verifica nelle guide della versione corrente il backend locale e il supporto del modello che vuoi usare.

Ideale per: inferenza leggera e flessibile, quantizzazione GGUF e hardware eterogeneo.

• CPU e acceleratori diversi: CUDA, Metal, Vulkan, HIP e altri backend.
• Quantizzazioni e inferenza ibrida CPU/GPU per gestire modelli più grandi della VRAM.
• Include CLI e server con endpoint compatibili con OpenAI.

Da considerare: è più tecnico di un'app desktop; formati, build e parametri richiedono attenzione.

Ideale per: generazione, fine-tuning e sperimentazione su Mac con chip Apple.

• Basato sul framework MLX, pensato per Apple silicon.
• CLI e API Python, integrazione con Hugging Face e modelli quantizzati.
• Supporta generazione, quantizzazione e fine-tuning.

Da considerare: non è una soluzione multipiattaforma; modelli grandi rispetto alla RAM disponibile possono diventare lenti.

Ideale per: API locali o on-prem con richieste concorrenti e GPU compatibili.

• Batching continuo, gestione efficiente della KV cache e parallelismo multi-GPU.
• Server API compatibile con OpenAI e ampia copertura di modelli.
• Supporta NVIDIA, AMD e ulteriori piattaforme tramite backend o plugin.

Da considerare: setup Python/GPU e tuning sono più impegnativi; per una singola chat può essere sovradimensionato.

Ideale per: serving a bassa latenza e alto throughput, anche su più GPU.

• Runtime ottimizzato per serving, con caching dei prefissi e parallelismo.
• API OpenAI-compatible e supporto a più famiglie di modelli e acceleratori.
• Adatto a deployment tecnici che richiedono controllo sul server.

Da considerare: richiede familiarità con ambienti Python e configurazione acceleratori; confrontare col proprio carico reale, non solo con benchmark pubblicati.

Ideale per: esporre un'API locale comune a modelli e task diversi, anche oltre il testo.

• Runtime open source con API compatibili con OpenAI e altri endpoint.
• Backend selezionabili, tra cui llama.cpp, vLLM e SGLang per i casi supportati.
• Copre anche task multimodali, secondo motore e modello configurati.

Da considerare: la versatilità aggiunge configurazione; le prestazioni e le funzioni variano in base al backend.