Chatbot, ricerca e analisi di informazioni: evitare l’effetto oracolo

L’uso dei chatbot per la ricerca di informazioni presenta criticità, prima fra tutte: l’effetto oracolo, ovvero la capacità dell’IA di inventare risposte, con un’apparenza di certezza, anche quando non si basa su dati e documenti. Questo è rischioso in ambiti come la medicina, il diritto e la finanza, dove un errore può avere conseguenze reali.

I chatbot non sono strumenti attendibili per diagnosi o terapie e sconsiglio di utilizzarli in tal senso, ma possono comunque rivelarsi utili in alcune fasi della nostra ricerca. Un progetto creativo su temi complessi come la psichiatria storica, come nel mio caso, può richiedere l’analisi di un’ingente quantità di documenti medici. Trovo utili i bot, ma con riserva di controllo.

le ai al servizio della scrittura

Conoscere il contesto storico mi aiuta a progettare scene credibili, avere dimestichezza con il linguaggio dell’epoca è un’ottima base per scrivere dialoghi autentici e caratterizzati, individuare dei pattern linguistici è utile per il glossario del world building e così via.

Per Il VIaggio della Matta, ho analizzato oltre tremila cartelle cliniche di internati nei manicomi, diari di psichiatri e pubblicazioni scientifiche del primo ’900. Da soli i chatbot non sostituiscono la ricerca d’archivio, ma se ben gestiti, la potenziano. Ho sfruttato il potere computazionale delle AI: non ha alleggerito il lavoro, anzi, per certi versi lo ha complicato, ma mi ha concesso di focalizzarmi sugli aspetti sostanziali e individuare pattern.

Quando si affronta con passione una ricerca si rischia di perdersi, andare oltre gli elementi utili e perdere il focus del progetto. Credo che la teoria dell’iceberg di Hemingway sia la base, ma non volevo ibernarmi in un ghiacciaio senza concludere nulla. In questo l’AI mi ha aiutato tantissimo. Nel post precedente avevo già introdotto i rischi delle AI generative, segue parte del mio metodo per arginarli.

Evitare errori e bias nell’uso dell’IA

Uno dei principali rischi nell’uso dei chatbot per la ricerca è la loro capacità di fornire risposte anche in presenza di dati incompleti o obsoleti. Sono progettati per indovinare e questo può essere molto rischioso. Non lo dico io, è un problema dichiarato e noto. Per mitigare questo rischio, è fondamentale costruire prompt accurati, con aspettative realistiche, lasciando sempre margine affinché il chatbot possa dichiarare i propri limiti. Bisogna offrire alle AI delle scappatoie, suggerendo risposte negative qualora non riuscisse ad accedere a fonti complete. Nei miei prompt stabilisco sempre i criteri di validità dell’informazione e stabilisco le condizioni di risposta.

Esempio prompt errato

“Quando è stata approvata la legge Basaglia?”

Il chatbot potrebbe fornire la data ufficiale (1978) senza specificare che la chiusura dei manicomi è stata un processo graduale e non immediato, né includere informazioni su impatti e controversie. Potrebbe anche fornire altre informazioni, superficiali e poco accurate.

Esempio di prompt con richiesta fonti e scappatoia

Richiesta di informazioni sulla Legge Basaglia

1. Oggetto della richiesta

• Fornire un’analisi dettagliata della Legge Basaglia (Legge 180/1978).

2. Ambiti di analisi

• Contesto legislativo: precedenti normativi, situazione della psichiatria pre-1978.

• Dibattiti parlamentari: principali posizioni politiche, resistenze, iter legislativo.

• Motivazioni della riforma: obiettivi dichiarati, problematiche identificate nei manicomi.

• Applicazione pratica: modalità di chiusura dei manicomi, sviluppo dei servizi territoriali.

• Ostacoli e criticità: problemi burocratici, amministrativi e politici nella transizione.

• Interpretazioni discordanti: valutazioni positive e negative dell’efficacia della riforma.

• Impatto nel lungo termine: effetti sulla salute mentale in Italia, confronti con altri sistemi.

3. Fonti richieste

• Documentazione ufficiale: testo normativo, atti parlamentari, relazioni ministeriali.

• Articoli dell’epoca: stampa nazionale e internazionale, reazioni dell’opinione pubblica.

• Studi accademici: analisi retrospettive, dati su risultati e fallimenti della legge.

4. Criteri di validità dell’informazione

• Segnalare eventuali lacune nei dati o assenza di fonti primarie.

• Evidenziare contraddizioni o controversie emerse nella letteratura scientifica e politica.

• Distinguere tra fatti documentati e interpretazioni per evitare sovrainterpretazioni.

5. Condizioni di risposta

• Se i dati disponibili sono incompleti o incoerenti, dichiararlo esplicitamente.

• Se esistono più interpretazioni, riportarle separatamente con le relative fonti.

Conclusioni

Sono una robot feticista, so quanto può essere eccitante flirtare con un bot, ma per integrarli nel mio lavoro, devo parlare la loro lingua, anche se sembrano comprendere bene la mia. Sia chiaro, per quel che mi riguarda potete continuare a dire grazie e per favore ai bot (è una pratica bizzarra più diffusa di quanto si pensi), e usarli per generare testi al vostro posto e affidargli qualsiasi aspetto della vostra vita. Non intendo esprimere giudizi sull’uso dell’AI come metodo divinatorio. Io preferisco un metodo schematico e strutturato per elaborare richieste specifiche.

Questo riportato nell’articolo è solo un piccolo esempio, un prompt base e facile da testare, ma che già mostra un approccio utile a evitare semplificazioni eccessive di eventi complessi. L’output restituisce informazioni da approfondire e analizzare successivamente, senza sostituire la nostra capacità di interpretazione critica, è solo l’inizio, il bello deve ancora venire.

Quando nei post precedenti ho specificato che uso le AI in campi di mia competenza, per avere controllo sugli output, intendevo proprio questo. Bisogna applicare le intelligenze artificiali solo a metodi di lavoro già strutturati e testati, non affidarci ciecamente ad esse.

Commenti

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *