Token AI: definizione semplice ed esempio
Definizione semplice di token AI: che cosa rappresenta, come viene creato dal tokenizer e perché non coincide sempre con una parola.
Autore
Giuseppe D'Agata
Solution Engineer in Zenita Group e autore di Basi di AI. Oltre 24 anni di esperienza in infrastrutture ICT, networking, Unified Communication, software, automazione e intelligenza artificiale.
Prompt
Il prompt è l’insieme di istruzioni, domande, dati ed esempi forniti a un sistema AI per orientarne il risultato. Non è una formula magica: è il modo con cui si descrivono obiettivo, contesto e criteri di qualità. Spiegazione pratica con funzionamento, esempi, limiti, confronti e FAQ.
Embedding
Un embedding è una rappresentazione numerica, generalmente un vettore, che colloca contenuti semanticamente simili in regioni vicine di uno spazio matematico. Può rappresentare testo, immagini, audio, utenti o prodotti. Spiegazione pratica con funzionamento, esempi, limiti, confronti e FAQ.
RAG
La RAG è un’architettura che recupera informazioni da fonti esterne e le inserisce nel contesto di un modello generativo prima della risposta. L’obiettivo è collegare l’output a documenti pertinenti, aggiornabili e controllabili. Spiegazione pratica con funzionamento, esempi, limiti, confronti e FAQ
Fine-tuning
Il fine-tuning è un addestramento aggiuntivo applicato a un modello già pre-addestrato per adattarne il comportamento a un compito, un dominio, uno stile o un formato di output. Spiegazione pratica con funzionamento, esempi, limiti, confronti e FAQ.
Transformer
Il Transformer è un’architettura di rete neurale progettata per elaborare sequenze usando soprattutto il meccanismo di attenzione. È alla base di gran parte dei moderni modelli linguistici e di molti sistemi multimodali. Spiegazione pratica con funzionamento, esempi, limiti, confronti e FAQ.
Allucinazione
Un’allucinazione è un output generato con sicurezza apparente ma non supportato da fatti, fonti o dati disponibili. Può riguardare nomi, numeri, citazioni, eventi, codice o relazioni causali. Spiegazione pratica con funzionamento, esempi, limiti, confronti e FAQ.
Context window: cos’è, quanti token servono e come configurarla
La context window stabilisce quante informazioni un modello AI può elaborare insieme. Scopri come influisce su qualità, costi, VRAM, RAG e Ollama.
Quantizzazione AI: scegliere Q4, Q5, Q8 e stimare RAM e VRAM
La quantizzazione riduce memoria e requisiti dei modelli AI. Guida pratica a Q4, Q5, Q8, GGUF, RAM, VRAM, qualità e scelta per Ollama.
Inference AI: latenza, token al secondo e prestazioni
Cos’è l’inference AI e come misurare TTFT, token al secondo, latenza, throughput, RAM e VRAM su Ollama e sistemi locali.
Training
Il training è il processo con cui un modello modifica i propri parametri per ridurre l’errore su esempi o obiettivi definiti. Nel caso dei modelli generativi può includere pre-addestramento, adattamento e allineamento. Spiegazione pratica con funzionamento, esempi, limiti, confronti e FAQ.
Vector database
Un vector database memorizza e indicizza vettori ad alta dimensionalità per cercare rapidamente gli elementi più simili a una query. Conserva spesso anche testo originale, identificatori e metadati. Spiegazione pratica con funzionamento, esempi, limiti, confronti e FAQ.