AI generativa: ecco come estrarre valore dalle tecnologie RAG

Nel campo dell’intelligenza artificiale generativa, le tecnologie RAG (Retrieval Augmented Generation) sono tra quelle che stanno suscitando il maggior interesse dei Chief Information Officer. Il motivo è semplice: questi prodotti di GenAI garantiscono maggiore pertinenza dell’output e controllo sulla privacy dei dati. Ciò non significa che siano necessariamente facili o economici da implementare, ma possono essere più idonei alle applicazioni concrete nelle imprese.

Come spiega un paper di McKinsey [in inglese], i Large Language Model (LLM) hanno fatto enormi progressi nella capacità di generare contenuti, ma non è detto che riescano ad aumentare l’efficienza e la produttività aziendale, perché sono addestrati solo sulle informazioni disponibili al fornitore tecnologico. Invece i sistemi RAG sono formati sulle informazioni aziendali: una base dati molto meno ampia, ma più specifica e potenzialmente utile per l’azienda.

“Considero le tecnologie RAG una delle innovazioni più promettenti per l’adozione dell’AI generativa in contesti aziendali. Per questo stiamo esplorando gli approcci RAG nei nostri progetti”, afferma Marco Ruffini, CIO e CISO di Migal group (progettazione e produzione di materiali non ferrosi).

Migal sta studiando le RAG proprio per gli scenari che richiedono risposte accurate e basate su dati specifici: supporto (ai clienti e interno) con chatbot e assistenti virtuali che rispondono a domande basate sulle FAQ, manuali di prodotto, policy aziendali o database; business intelligence e analisi dei dati; creazione di sistemi che permettano ai dipendenti di accedere rapidamente a informazioni complesse disseminate in diversi archivi aziendali; sviluppo software con assistenti alla programmazione che possono consultare documentazione interna, codice base e linee guida dell’azienda.

“La tecnologia RAG risolve un limite fondamentale dei Large Language Model generalisti: il fatto che la loro conoscenza sia congelata al momento del loro addestramento”, prosegue Ruffini. “Un LLM, per quanto vasto, non ha accesso alle informazioni più recenti, specifiche o proprietarie di un’azienda. La RAG supera questo problema permettendo al modello AI di recuperare informazioni pertinenti e aggiornate da una o più fonti esterne (documenti aziendali, database interni, web, ecc.) prima di generare una risposta. È come dare all’AI un libro aperto da consultare al momento della richiesta, anziché affidarsi solo alla sua memoria pre-addestrata”.

Che cosa sono e come funzionano i sistemi RAG

La Retrieval Augmented Generation (RAG) è una tecnica AI-based che usa un processo in due fasi: recupera informazioni rilevanti da un dataset prestabilito e poi usa queste informazioni per generare una risposta più accurata e contestualizzata. La parola augmentation nella definizione sottolinea la capacità della RAG di migliorare l’abilità dei modelli di produrre risposte. Nei sistemi RAG gli LLM recuperano informazioni dalle fonti che vengono fornite ai sistemi, anziché da dati generalisti sui cui vengono addestrati.

“I RAG sono sistemi in cui gli LLM sono affiancati da uno strumento di recupero informazioni”, ci ha spiegato il professor Fabrizio Silvestri, docente del corso di Laurea magistrale in Data science all’interno di Scienze dell’informatica (Ingegneria, Università La Sapienza di Roma). “Nei RAG si crea una banca dati di documenti e la query interroga il sistema usando parole chiave contenute in quei documenti. Il sistema recupera le informazioni rilevanti per rispondere, raccogliendo tipicamente dei termini”.

“I RAG”, aggiunge Silvestri, “operano sul livello semantico, più raramente su quello sintattico. Ovvero, non eseguono tanto dei ragionamenti quanto una ricerca. Dai termini immessi nel prompt il sistema cerca e genera la risposta. È un sistema con tanti vantaggi, a partire dal fatto che si deve solo addestrare il modello a estrarre le risposte”.

Un altro vantaggio molto apprezzato dai Chief Information Officer è che i documenti si possono tenere in azienda, senza condividerli all’esterno, anche quando si usano LLM proprietari. Il controllo della tecnologia è, ovviamente, totale se la base del sistema RAG è un LLM open source.

“Un ulteriore aspetto positivo è che si può modificare il modo in cui viene interrogato l’LLM, per esempio agendo su prompt. Il RAG è, dunque, una soluzione flessibile e rispettosa della privacy, visto che i dati sono in locale”, afferma Silvestri.

Applicazioni che creano efficienza ed efficacia

Un’organizzazione molto attiva nello studio della GenAI è Save the Children. Il team del CIO Lorenzo Catapano (che supervisiona non solo l’IT della Ong, ma anche la parte innovazione intesa come gestione del processo di innovazione dell’organizzazione e la strategia sui dati come asset strategico per prendere decisioni più accurate) ha avviato delle sperimentazioni con l’intelligenza artificiale generativa con due obiettivi: aumentare l’efficienza (quindi risparmiare su tempi e costi) e aumentare l’efficacia (ovvero migliorare l’impatto delle attività).

Sul fronte dell’efficienza è stato rilasciato un AI Assistant che Save the Children ha sviluppato, insieme a un partner, usando Copilot Studio AI Generativa RAG.

“L’architettura RAG ci fornisce un modello chiuso, addestrato solo sui documenti interni, che poi possiamo interrogare tramite Teams”, spiega Catapano. “Il RAG ci dà più sicurezza e ci assicura che la risposta sia coerente e circoscritta alla base di dati”.

Questo AI Assistant, al momento abilitato su un insieme limitato di documenti, è un chatbot che risponde alle domande sulle procedure e policy interne di Save the Children a beneficio dello staff anche remoto, come gli operatori sul campo.

Il progetto è iterativo: è partito con il beta test per vedere come gli utenti interni si muovono per consultare la documentazione ed è proseguito fornendo le risposte al chatbot. Poi è stato attivato l’assistente e ora è in fase si studio l’utilizzo da parte dello staff, inserendo via via nuove risposte o nuovi documenti, arricchendo il bot. Al tempo stesso saranno applicate delle metriche per misurare i tassi di affidabilità, il tempo risparmiato, la soddisfazione dell’utente e altri KPI.

Altri due progetti in fase di sviluppo usano l’AI per aumentare l’efficacia di Save the Children. In un caso il team di Catapano sta lavorando ad una soluzione digitale basata su AI per l’apprendimento dell’italiano per ragazzi con background migratorio, che aiuterà ad imparare l’uso della lingua in contesti reali, come la richiesta di informazioni, fino a prepararsi ad un possibile colloquio di lavoro.

“Finora abbiamo svolto questa attività nei nostri centri sul territorio, e continueremo a farlo, ma l’intenzione è di affiancare gli operatori con una soluzione AI con una parte generativa per la conversazione e una parte di machine learning per la personalizzazione del percorso in base al feedback dell’utente, che potrà aiutare i ragazzi a imparare la lingua anche al di fuori dei contesti di insegnamento formali”, spiega il manager.

Un altro progetto di innovazione di Save the Children in qualche modo similare è un assistente linguistico e culturale pensato per gli operatori per interagire con i ragazzi che si presentano alle frontiere non accompagnati e che necessitano di mediatori. Si tratta ancora solo di un PoC, cui stanno collaborando anche dei mediatori in carne ed ossa, e con cui il team di Catapano studia quali dovrebbero essere le caratteristiche di questo prodotto AI e le lacune dei modelli esistenti che si dovrebbero colmare. 

“Gli LLM più diffusi tipicamente non sono stati addestratati sulle specifiche lingue di provenienza dei migranti; inoltre, ci sono delle necessità di disambiguazione”, osserva Catapano. “Vedremo dove ci porterà questa sperimentazione; l’obiettivo resta quello di aumentare la nostra capacità di generare un impatto sociale positivo, sia in termini qualitativi che quantitativi”. 

Il ruolo dell’IT nel creare valore

Un altro esempio di utilizzo della RAG nella ricerca tra i documenti interni è quello dell’Università Vita-Salute San Raffaele. L’istituto ha diversi repository documentali, wiki interne e fonti di dati che i dipendenti possono consultare con vari strumenti. Ma non sempre è semplice effettuare la ricerca di contenuti e informazioni all’interno dei molteplici repository e la RAG è la tecnologia che il Chief Information Officer Lorenzo Cibrario ha valutato e proposto come vincente per superare l’ostacolo. “È una soluzione ottima che garantisce l’explainability e la privacy del dato. Per noi si tratta di due requisiti imprescindibili dell’AI”, racconta Cibrario.

Il CIO spiega che la RAG può aiutare a sviluppare modelli e agenti conversazionali. Questi chatbot, attingendo alle fonti di dati interne, sono uno strumento che l’IT può fornire ai dipendenti per trovare le informazioni di cui hanno bisogno in modo rapido e con una risposta affidabile, perché il modello è addestrato solo sui dati dell’azienda. Cibrario trova la RAG molto utile anche nell’onboarding, per aiutare i neo-assunti a formarsi sulla conoscenza interna dell’azienda.

Sulla tecnologia RAG l’Università Vita-Salute San Raffaele sta selezionando un fornitore specializzato che possa mettere a disposizione il modello AI e si occupi dell’addestramento specializzato sui documenti interni. Ma il caso d’uso è stato proposto dal team di Cibrario, non dal fornitore.

“L’AI è un insieme di soluzioni tecnologiche di cui è difficile oggi comprendere le dimensioni e le potenzialità”, evidenzia il CIO. “I vendor hanno grandi possibilità, ma non sanno ancora come tradurre questa vasta offerta in qualcosa di implementabile all’interno delle aziende. Ad oggi non esiste un track record cui attingere, perché si tratta di tecnologie nuove e che evolvono rapidamente. D’altro lato, per le aziende è difficile immaginare come implementare queste tecnologie legate all’AI per migliorare il proprio business. È proprio nel punto di incontro tra offerta di servizi e bisogni dell’azienda che si inseriscono l’IT e il suo responsabile per valutare prodotti e soluzioni e capire dove e come collocarle, mettendole al servizio dei processi aziendali. Noi abbiamo dato l’idea al fornitore e ora svolgiamo il ruolo di abilitatori della tecnologia con l’obiettivo di rendere fruibili i documenti aziendali interni in modo innovativo, superando il concetto di indicizzazione”.

Un’attenta analisi dei costi-benefici

La valutazione dei costi-benefici è, in generale, il faro dei progetti aziendali con la GenAI. Molte imprese guardano con interesse a questa tecnologia, inclusa la RAG, ma sono ancora in fase esplorativa. È il caso di Crédit Agricole Vita-Crédit Agricole Assicurazioni (la bancassicurazione del gruppo Credit Agricole), che al momento sta raccogliendo, con un gruppo di lavoro, le richieste delle varie funzioni aziendali sulle implementazioni AI. Verranno, quindi, valutate le potenzialità, anche rispetto alle policy della capogruppo.

“Analizzeremo i casi d’uso e decideremo quali implementare valutando sia i costi che l’effort da dedicare”, tiene a precisare Stefano Bombara, Responsabile Servizio Sistemi Tecnici, Crédit Agricole Vita-Crédit Agricole Assicurazioni. Bombara fa parte del gruppo di lavoro sull’AI insieme ad altri colleghi sia IT che non-IT. “Vogliamo essere sicuri che le soluzioni che sceglieremo creeranno effettivamente valore”, evidenzia. 

L’elemento-chiave, secondo Bombara, è la trasversalità del beneficio, ovvero la potenzialità di impattare positivamente più aree aziendali. Oppure, se il vantaggio è molto specifico, dovrà essere anche molto significativo. Per esempio, CA Vita sta ipotizzando di ottimizzare la gestione dei sinistri usando l’AI e applicando metodologie RAG.

“Stiamo valutando la RAG perché, per le tematiche specifiche, non è sufficiente l’uso di dati e documentazioni standard, ma è necessaria questa tecnologia per specializzare la risposta e l’addestramento del sistema alla specificità del processo”, spiega Bombara.

Sistemi RAG: vantaggi, rischi e costi

Secondo McKinsey le applicazioni più interessanti della RAG sono nel servizio clienti, nel marketing, nel finance e nella gestione della conoscenza. In particolare, i chatbot per il servizio clienti sono promettenti praticamente per ogni tipo di azienda: quando un cliente interagisce con il sito web o l’app mobile di un brand per chiedere informazioni su un prodotto o un servizio, il sistema RAG può recuperare informazioni rilevanti basate sulle policy aziendali, sui dati dell’account del cliente e altre fonti interne per fornire risposte più personalizzate e utili.

Al tempo stesso, l’efficacia dei sistemi RAG dipende strettamente dalla qualità delle fonti e dei dati. Se la conoscenza che la RAG acquisisce non è accurata o aggiornata, l’output potrebbe essere errato o inutile. Inoltre, se i dati sottostanti contengono distorsioni o pregiudizi, è probabile che anche l’output generato li contenga. Qui occorre mitigare i rischi con una solida data governance.

Anche Ruffini ci ha indicato che con la RAG vanno applicate rigorose politiche di sicurezza e privacy, soprattutto se i dati sono sensibili.

“L’implementazione non è banale”, nota il CIO: “i sistemi RAG richiedono una gestione efficiente degli indici di ricerca, l’integrazione con vari sistemi aziendali e la cura dei database vettoriali”.

Quanto ai costi di implementazione, un’infrastruttura RAG è più economica del riaddestramento o fine-tuning completo di un LLM, ma comporta comunque una spesa iniziale e richiede competenze specialistiche. Anche gestire e indicizzare basi di conoscenza estremamente ampie può diventare una sfida in termini di risorse computazionali e storage.

C’è anche un limite obiettivo della tecnologia RAG: potrebbe non essere in grado di leggere determinati grafici o immagini complesse, il che può portare a problemi nell’output generato. I nuovi LLM multimodali, che possono analizzare formati di dati complessi, possono aiutare a superare l’ostacolo.

D’altro lato, restano i vantaggi che un Chief Information Officer non può trascurare: i sistemi RAG sono più accurati, consentono di personalizzare l’output dell’AI in base al dominio specifico e alle esigenze dell’azienda, e aiutano a ridurre lo Shadow AI.  

“Offrendo un modo controllato e governato per integrare la conoscenza aziendale, si riduce la tentazione per i dipendenti di usare LLM pubblici con dati sensibili”, afferma Ruffini.

Ogni CIO dovrà, dunque, trovare la sua via all’eventuale impiego della Ge AI e della RAG, a seconda delle esigenze del business.

Il futuro: RAG basati sugli agenti AI

Il professor Silvestri sottolinea che la tecnologia RAG, benché non nuova, è ancora allo stato dell’arte. Nel mondo della ricerca, tuttavia, i RAG sono considerati sistemi obsoleti, mentre l’avanguardia è rappresentata dagli agenti AI. Questi usano qualsiasi tool, non solo gli LLM, e possono effettuare diversi tipi di operazioni – dalla ricerca al calcolo – e di ragionamenti, al contrario dei RAG che usano solo gli LLM e fanno solo information retrieval.

Infatti, McKinsey indica il “RAG basato su agenti” come una delle principali evoluzioni future di questa tecnologia. “Gli agenti sono sistemi che possono ragionare e interagire tra loro e richiedono meno intervento umano rispetto ai precedenti sistemi di intelligenza artificiale. Questi strumenti possono consentire ai sistemi RAG di adattarsi in modo flessibile ed efficiente ai contesti mutevoli e alle esigenze degli utenti in modo da poter rispondere meglio a prompt più complessi e sfumati”, scrivono gli analisti.

Stanno emergendo anche LLM addestrati specificamente per l’uso con la RAG. Questi modelli sono personalizzati per soddisfare le esigenze delle attività RAG, come il recupero rapido dei dati da un vasto insieme di informazioni.

La tecnologia della Retrieval Augmented Generation sta anche vivendo una crescente standardizzazione dei modelli software sottostanti e questo significa che ci saranno più soluzioni e librerie standard disponibili per le implementazioni RAG, rendendole progressivamente più facili da costruire e distribuire, un’ulteriore evoluzione che potrà interessare i CIO.