Smetti di chiedere agli LLM se le loro fonti sono reali
Chiedi a un'IA un elenco di fonti. Ti fornisce titoli, autori e DOI. Tutto sembra perfetto. Poi scopri che metà di esse non esistono.
Il DOI non porta a nulla. Quel paper non è mai stato scritto.
Il tuo istinto è quello di chiedere al modello: "Sei sicuro che sia reale?" L'IA dirà di sì. Dice sempre di sì. È come chiedere a un falsario se la sua opera è autentica.
Un LLM non utilizza un database di paper. Predice la parola successiva in una sequenza. Per un'IA, una citazione è solo un pattern. Sa che una citazione richiede un nome, un anno e dieci cifre. Imita la forma di una fonte reale senza contenerne la verità.
Smetti di chiedere al modello di verificare il proprio lavoro. Non può farlo per due motivi:
- Non ha accesso a un registro in tempo reale. Genera solo testo plausibile.
- Ha una tendenza a confermare ciò che ha già detto.
Devi usare strumenti esterni per verificare le informazioni. Ecco un filtro in tre passaggi per la scrittura tecnica:
Esistenza. Verifica il DOI tramite un'API come Crossref. Se l'API restituisce un errore 404, la fonte è falsa. Un DOI inventato non verrà mai risolto.
Credibilità. Una fonte può esistere ma essere comunque inutile. Controlla se la rivista o la conferenza è riconosciuta. Un DOI valido non garantisce la qualità.
Fedeltà. Il paper supporta effettivamente la tua affermazione? Devi leggere il contenuto. Non dare per scontato che l'abstract copra ogni dettaglio. Una citazione reale usata per un'affermazione falsa è comunque una bugia.
Questo si applica a molto più che ai soli paper accademici. Se un'IA cita un ticket JIRA, un numero CVE o un commit di codice, devi verificarlo rispetto al sistema effettivo.
L'errore più grande nell'architettura dell'IA è fidarsi del modello per l'autoverifica. La verifica deve essere un passaggio separato. Deve connettersi a una fonte di verità esterna prima che l'utente veda il risultato.
Non cercare di rendere i modelli più onesti. Sono generatori di testo e allucineranno sempre. Invece, smetti di fidarti della loro parola.
Una citazione che non puoi verificare rispetto a un registro non è una citazione. È solo un'ipotesi con il camice bianco.
Fonte: https://dev.to/ohugonnot/stop-asking-the-llm-whether-its-source-is-real-2oaa
Community di apprendimento opzionale: https://t.me/GyaanSetuAi