Leggendo "AI Engineering" di Chip Huyen, sono rimasta colpita dal parallelo che l'autrice traccia tra l'Evaluation-Driven Development (EDD) e il Test-Driven Development (TDD). Un'analogia che non solo illumina le sfide uniche dell'ingegneria AI, ma ci fornisce anche un framework concreto per costruire sistemi più affidabili.
Nel mondo dello sviluppo software tradizionale, il Test-Driven Development ha rivoluzionato il modo in cui pensiamo alla qualità del codice. Scriviamo prima i test, poi il codice che li soddisfa. Questo approccio garantisce che ogni funzionalità sia verificabile e che il sistema mantenga le sue promesse nel tempo.
L'Evaluation-Driven Development applica la stessa filosofia ai sistemi AI, ma con una complessità aggiuntiva: mentre nel software tradizionale un test può essere deterministico (2+2 deve sempre fare 4), nell'AI dobbiamo spesso valutare output probabilistici e soggettivi.
I modelli di linguaggio e i sistemi AI in generale presentano sfide uniche quando si tratta di valutazione:
Questo è dove l'EDD diventa cruciale: definire metriche e metodologie di valutazione prima di costruire il sistema ci aiuta a mantenere il focus sugli obiettivi reali.
Un esempio particolarmente interessante che Huyen presenta riguarda la capacità di seguire istruzioni specifiche. Prendiamo il caso di chiedere a un modello di generare testo usando solo parole di massimo 4 lettere.
Questo tipo di vincolo apparentemente semplice rivela molto sulla reale comprensione del modello:
Ello è una startup di San Francisco fondata nel 2019 che ha sviluppato quello che definisce "il primo AI reading coach al mondo". La startup rappresenta un esempio perfetto di come l'EDD si traduca in un prodotto concreto che deve bilanciare innovazione tecnologica, ricerca scientifica rigorosa e risultati misurabili.
Ello non è semplicemente un'app educativa, ma un progetto di ricerca ambizioso che mira a "massimizzare il potenziale umano scalando l'insegnamento 1:1". Il loro approccio si basa su tre pilastri di ricerca fondamentali:
Child Speech Perception: Sviluppano tecnologia di riconoscimento vocale specificamente per bambini, utilizzando machine learning auto-supervisionato per ottenere performance "10x migliori" rispetto ai sistemi esistenti.
Understanding: Creano una mappatura granulare dello stato cognitivo del bambino, descritta come "fenotipizzazione continua per ogni fase dell'apprendimento precoce".
Interaction: Utilizzano modelli generativi per creare storie e materiali didattici personalizzati che si adattano al livello ottimale di apprendimento di ogni bambino.
Il team ha pubblicato ricerca peer-reviewed in venue prestigiose come Advances in Neural Information Processing Systems e Biological Psychiatry, oltre a detenere brevetti nel campo del riconoscimento vocale per bambini.
Ello utilizza tecnologia proprietaria di riconoscimento vocale per bambini e intelligence artificiale generativa per ascoltare i bambini leggere ad alta voce, fornendo coaching personalizzato e feedback per sviluppare competenze di lettura critiche. La startup afferma che il loro AI reading coach supera le performance di OpenAI's Whisper e Google Cloud's speech API.
Il servizio funziona tramite abbonamento a $24.99 al mese, fornendo cinque libri fisici ogni mese accuratamente selezionati in base al livello di lettura e agli interessi del bambino, mentre la versione digitale costa $14.99 al mese con accesso a oltre 700 e-book decodificabili.
Il caso più interessante per l'EDD è il lancio nel 2024 di "Storytime", una funzionalità che permette ai bambini di partecipare al processo di creazione delle storie scegliendo ambientazioni, personaggi e trame. Gli esempi pratici includono:
L'approccio EDD di Ello emerge chiaramente nelle loro metriche:
Sicurezza e Appropriatezza: Il team di ingegneria ha condotto test di sicurezza estensivi e revisioni umane su migliaia di libri e immagini generate dall'AI. Utilizzano guardrail come un set predeterminato di opzioni per le storie invece di lasciare i bambini completamente liberi.
Efficacia Pedagogica: A differenza di altri strumenti di AI generativa per bambini, i libri Storytime si inseriscono in una progressione strutturata di istruzione fonetica basata sulla Science of Reading.
Engagement e Impatto: La piattaforma ha registrato 10.000 famiglie utenti e oltre 300.000 libri letti attraverso l'app, mentre più di 700.000 libri per bambini sono stati letti sulla piattaforma Ello.
Il caso Ello dimostra come l'EDD affronti sfide reali, integrando ricerca scientifica e sviluppo prodotto:
Diversità Linguistica: Ello segue le migliori pratiche nella fairness del machine learning e misura quanto bene riconosce il parlato dei bambini attraverso fattori come accento, background, età, razza, etnia e problemi di patologia del linguaggio.
Approccio Pedagogico Evidence-Based: Ello basa il suo approccio sulla "Science of Reading", implementando i cinque componenti fondamentali della lettura: consapevolezza fonologica, fonetica, fluenza, vocabolario e comprensione. La loro filosofia è che "l'apprendimento è fatto da un bambino, non a un bambino".
Bilanciamento delle Aspettative: Ello non è basato su valutazioni e non mostra indicatori di progresso, concentrandosi invece sull'engagement e sull'amore del bambino per la lettura.
Il caso Ello illustra quattro principi fondamentali dell'EDD:
1. Ricerca Come Foundation: Prima di costruire il prodotto, hanno sviluppato una base scientifica solida attraverso pubblicazioni peer-reviewed e ricerca universitaria
2. Definizione di Metriche Multidimensionali: Non solo accuratezza tecnica, ma sicurezza, pedagogia, engagement e impatto sociale
3. Validazione Continua: Test estensivi con insegnanti, bambini e specialisti della lettura prima del lancio
4. Iterazione Basata sui Dati: La versione iniziale permette solo scelte predeterminate, ma l'azienda prevede future iterazioni con maggiore coinvolgimento dei bambini
L'analogia tra EDD e TDD che Chip Huyen presenta in "AI Engineering" non è solo elegante dal punto di vista concettuale, ma profondamente pratica. In un campo dove è facile rimanere affascinati dalle capacità emergenti dei modelli, l'EDD ci riporta con i piedi per terra: prima definiamo cosa vogliamo misurare, poi costruiamo sistemi che possano essere effettivamente valutati.
Nel caso di Ello e della generazione di storie educative, vediamo come questa filosofia si traduca in prodotti concreti che devono bilanciare innovazione tecnologica e risultati misurabili. Un promemoria che, anche nell'era dell'AI, la buona ingegneria inizia sempre con la definizione chiara di cosa significa "funzionare bene".
L’approccio di Ello è una dimostrazione concreta di ciò che mi appassiona di più: usare l’AI per costruire strumenti utili, con cura, attenzione e spirito sperimentale. È questo il tipo di tecnologia che voglio contribuire a creare: non più smart per impressionare, ma intelligente per servire davvero.
Vi presento 𝐓𝐫𝐢𝐜𝐤𝐚𝐧𝐠𝐥𝐞! 🎭🔺Il personaggio che tutti vorremmo, ma che non potremo mai avere.Perché? Perché rappresenta ciò che nel Teorema di CAP e nello sviluppo software(e non solo) 𝐬𝐞𝐦𝐩𝐥𝐢𝐜𝐞𝐦𝐞𝐧𝐭𝐞 𝐧𝐨𝐧 𝐩𝐮ò 𝐞𝐬𝐢𝐬𝐭𝐞𝐫𝐞. Il Teorema CAP: i limiti fondamentali dei sistemi distribuiti Nel mondo dei sistemi distribuiti, il 𝐓𝐞𝐨𝐫𝐞𝐦𝐚 𝐝𝐢 𝐂𝐀𝐏, formulato da Eric Brewer, afferma […]
“𝐋𝐞𝐬𝐬 𝐢𝐬 𝐌𝐨𝐫𝐞”:Questo principio è alla base di molti concetti fondamentali, sia nella vita che nel coding. Durante la lezione di oggi, mentre rivedevamo un esercizio, il nostro insegnante si è soffermato su due principi che si completano a vicenda e sottolineano l’importanza della semplicità: 𝐢𝐥 𝐫𝐚𝐬𝐨𝐢𝐨 𝐝𝐢 𝐎𝐜𝐜𝐚𝐦 𝐞 𝐘𝐀𝐆𝐍𝐈 (𝐘𝐨𝐮 𝐀𝐫𝐞𝐧’𝐭 𝐆𝐨𝐧𝐧𝐚 𝐍𝐞𝐞𝐝 […]
