Impara a scegliere, eseguire e adattare LLM open-weight sulla tua infrastruttura. Confronta quantizzazione, fine-tuning e serving con misure su GPU, poi applica i risultati a RAG, agenti e sistemi di valutazione aziendali. Materiale didattico in inglese.
Cosa c'è dentro
Confronta famiglie di modelli open-weight per qualità, licenza, lingua, contesto e memoria.
Esegui lo stesso file GGUF con Ollama e llama.cpp e confronta la velocità di generazione.
Stima la memoria per pesi e cache KV e misura l’effetto della lunghezza del contesto sull’inferenza.
Confronta memoria, velocità e qualità di diverse precisioni sullo stesso modello.
Progetta prompt, risposte strutturate e chiamate a strumenti con modelli locali.
Studia come trasferire un comportamento a un modello più piccolo e quando ricorrere all’adattamento supervisionato.
Addestra un adapter QLoRA su una GPU RTX e confronta le risposte prima e dopo il suo ricaricamento.
Costruisci una pipeline RAG locale con embedding, recupero, riordinamento dei risultati e citazioni.
Definisci insiemi di valutazione versionati per confrontare modelli e adattamenti su compiti specifici.
Misura throughput e latenza di vLLM a diversi livelli di concorrenza e osserva l’uso della GPU.
Dimensiona una soluzione locale e confronta il costo di acquisto, noleggio GPU e pagamento a token.
Esamina licenze, provenienza dei modelli e protezione dei dati in un’installazione locale.
Usa OpenCode con Ollama e confronta modelli locali sullo stesso compito di sviluppo.
Esamina i componenti di un’architettura agentica aziendale su infrastruttura privata.
Valuta modelli locali per classificazione e decisione, confrontando calibrazione, cascate e revisione umana.