AI Senza l'Hype: Una Guida per l'Ingegnere che Lavora

La maggior parte dei contenuti su AI online rientra in due categorie: paure sulla superintelligenza, o affermazioni esagerate che un chatbot ti sostituirà entro martedì. Nessuno dei due ti aiuta a rilasciare qualcosa di concreto. Questa guida salta entrambi gli estremi e mostra come usare effettivamente la generazione attuale di strumenti AI in progetti reali, con i limiti esplicitati.

Cosa fa davvero un LLM

Un modello linguistico di grandi dimensioni come GPT-4 o Llama 3 predice il token successivo in una sequenza, addestrato su enormi quantità di testo. È tutto qui. Non c'è un verificatore di fatti interno, nessuna memoria persistente tra sessioni (a meno che tu non la costruisca), e nessuna comprensione nel senso in cui la capisce una persona. Quando gli poni una domanda, sta generando un proseguimento statisticamente plausibile del tuo prompt.

Questo conta dal punto di vista pratico: il modello genererà tranquillamente una funzione Python che chiama un metodo di una libreria che non esiste, perché quel metodo suona come qualcosa che la libreria dovrebbe avere. Esegui sempre il codice. Controlla sempre il riferimento dell'API. Tratta l'output del modello come una prima bozza da uno stagista veloce e colto che a volte mente senza rendersene conto.

Un flusso di lavoro reale: usare un LLM per il codice

Ecco un pattern che funziona invece di chiedere semplicemente a ChatGPT di "costruirmi un'app":

1. Scrivi tu stesso la firma della funzione e il docstring, specificando i tipi e i casi limite.
2. Chiedi al modello di implementarla rispetto a quella specifica esatta.
3. Scrivi i tuoi test separatamente — non chiedere al modello di scrivere test per il codice che ha appena scritto, tenderà a scrivere test che passano banalmente.
4. Esegui i test. Inserisci gli errori come nuovi prompt, non vagai "non funziona".

def parse_duration(text: str) -> int:
    """
    Parse strings like '1h30m', '45s', '2d' into total seconds.
    Raise ValueError on invalid input.
    """

Dare al modello questo contratto esatto produce output molto migliore rispetto a una descrizione vaga, e ti dà qualcosa di concreto contro cui testare.

Retrieval-augmented generation, in termini semplici

RAG viene usato come buzzword ma il meccanismo è semplice: invece di affidarti a ciò che il modello ha memorizzato durante l'addestramento, recuperi documenti rilevanti al momento della query e li metti nel prompt.

Una configurazione di base:

1. Dividi i tuoi documenti (500-1000 token per pezzo è un punto di partenza comune).
2. Incorpora ogni pezzo con un modello come text-embedding-3-small o un modello open come bge-small-en.
3. Memorizza i vettori in qualcosa come Postgres con pgvector, o un negozio dedicato come Qdrant.
4. Al momento della query, incorpora la domanda dell'utente, esegui una ricerca di similarità (la distanza coseno è lo standard), e inserisci i top-k pezzi nel prompt insieme alla domanda.

SELECT content FROM docs
ORDER BY embedding <=> '[0.012, -0.045, ...]'
LIMIT 5;

Ecco perché un chatbot addestrato su dati fino a una certa data può ancora rispondere a domande sul tuo wiki interno della scorsa settimana. Non sta ragionando sulla tua azienda — sta leggendo i tuoi documenti e sintetizzandoli.

Dove il ML classico vince ancora

Non ogni problema ha bisogno di un transformer. Se stai prevedendo il churn da dati tabulari strutturati — età dell'account, frequenza di utilizzo, ticket di supporto — un modello ad albero con boosting graduale come XGBoost o LightGBM supererà di solito un approccio basato su LLM, si addestrerà in minuti invece di ore, e costerà una frazione per l'esecuzione. Usa RandomForestClassifier di scikit-learn o XGBoost prima di fare una chiamata API, specialmente quando i tuoi dati stanno in un foglio di calcolo e la tua variabile target è un numero o una categoria pulita.

Costo e latenza sono vincoli di progettazione, non pensieri tardivi

Una chiamata GPT-4 costa soldi veri per token e impiega secondi reali per restituire il risultato. Se stai costruendo una funzione che si esegue su ogni caricamento di pagina per ogni utente, si accumula velocemente e la latenza sarà visibile. Cached aggressivamente, usa un modello più piccolo come GPT-4o-mini o un Llama 3 8B locale per qualsiasi cosa che non richieda un ragionamento di livello superiore, e riserva le chiamate al modello costoso per le parti della tua pipeline dove la qualità conta davvero.

La modalità di errore di cui nessuno ti avverte

I modelli allucinano di più, non di meno, quando chiedi loro cose leggermente fuori dalla loro distribuzione di addestramento — versioni di librerie oscure, gergo aziendale interno, numeri CVE recenti. Se la risposta deve essere esattamente giusta (un avviso di sicurezza, una citazione legale, una dose medica), non fidati della sola generazione. Verifica contro una fonte primaria ogni volta, e integra quel passaggio di verifica nella tua pipeline piuttosto che fidarti della revisione umana dopo il fatto.

Gli strumenti AI sono genuinamente utili una volta che smetti di aspettarti che pensino e inizi a trattarli come un pattern-matcher veloce che devi controllare. Integra il passaggio di verifica fin dal primo giorno e otterrai valore reale da esso invece di un flusso di sciocchezze sicure di sé.

Se vuoi approfondire, controlla i corsi Python e Data Science di Korra Studio per i fondamenti che rendono il lavoro con questi strumenti veramente produttivo.