SOLO WEB 15 MODULI INTERMEDIO

Modelli linguistici locali e architetture agentiche aziendali

Impara a scegliere, eseguire e adattare LLM open-weight sulla tua infrastruttura. Confronta quantizzazione, fine-tuning e serving con misure su GPU, poi applica i risultati a RAG, agenti e sistemi di valutazione aziendali. Materiale didattico in inglese.

Sviluppatore al lavoro tra codice, diagrammi e verifiche

Cosa c'è dentro

15 moduli,
contattaci per l’accesso.

01
Open-Weight Model Families and Selection Criteria

Confronta famiglie di modelli open-weight per qualità, licenza, lingua, contesto e memoria.

Web testo + immagini
BLOCCATO
02
Running Models Locally: Ollama and llama.cpp

Esegui lo stesso file GGUF con Ollama e llama.cpp e confronta la velocità di generazione.

Web testo + immagini
BLOCCATO
03
GPUs for LLM Inference: Memory, Bandwidth and KV Cache

Stima la memoria per pesi e cache KV e misura l’effetto della lunghezza del contesto sull’inferenza.

Web testo + immagini
BLOCCATO
04
Quantization: Size, Speed, Memory and Quality

Confronta memoria, velocità e qualità di diverse precisioni sullo stesso modello.

Web testo + immagini
BLOCCATO
05
Prompting, Structured Output and Tool Calling with Local Models

Progetta prompt, risposte strutturate e chiamate a strumenti con modelli locali.

Web testo + immagini
BLOCCATO
06
Distillation and Supervised Adaptation

Studia come trasferire un comportamento a un modello più piccolo e quando ricorrere all’adattamento supervisionato.

Web testo + immagini
BLOCCATO
07
Efficient Fine-Tuning with LoRA, QLoRA and Unsloth

Addestra un adapter QLoRA su una GPU RTX e confronta le risposte prima e dopo il suo ricaricamento.

Web testo + immagini
BLOCCATO
08
Local RAG: Embeddings, Retrieval, Reranking and Citations

Costruisci una pipeline RAG locale con embedding, recupero, riordinamento dei risultati e citazioni.

Web testo + immagini
BLOCCATO
09
Repeatable Evaluation: Benchmarks and Evaluation Sets

Definisci insiemi di valutazione versionati per confrontare modelli e adattamenti su compiti specifici.

Web testo + immagini
BLOCCATO
10
Serving with vLLM and Monitoring

Misura throughput e latenza di vLLM a diversi livelli di concorrenza e osserva l’uso della GPU.

Web testo + immagini
BLOCCATO
11
Sizing and Economics of a Local Solution

Dimensiona una soluzione locale e confronta il costo di acquisto, noleggio GPU e pagamento a token.

Web testo + immagini
BLOCCATO
12
Security, Licenses and Data Protection

Esamina licenze, provenienza dei modelli e protezione dei dati in un’installazione locale.

Web testo + immagini
BLOCCATO
13
Local Coding Agents: OpenCode and Ollama

Usa OpenCode con Ollama e confronta modelli locali sullo stesso compito di sviluppo.

Web testo + immagini
BLOCCATO
14
Enterprise Agentic Architectures on Local Models

Esamina i componenti di un’architettura agentica aziendale su infrastruttura privata.

Web testo + immagini
BLOCCATO
15
Local Judges and Decision Models

Valuta modelli locali per classificazione e decisione, confrontando calibrazione, cascate e revisione umana.

Web testo + immagini
BLOCCATO