Come impedire all'IA di scambiare le inferenze per fatti

Gli agenti di ricerca IA spesso mescolano fatti e congetture. Una pagina web potrebbe indicare il valore di un mercato. L'agente conclude quindi che il mercato stia crescendo rapidamente. Entrambe le affermazioni appaiono identiche nel testo finale. Questa fusione di dati e opinioni è pericolosa.

Non si può risolvere il problema con prompt migliori. I prompt sono probabilistici. Sotto pressione, il modello farà supposizioni.

La soluzione è strutturale. Sposta la decisione dal LLM al tuo codice.

Dividi il lavoro in due parti:

Il LLM si occupa di:

  • Estrarre affermazioni da una pagina.
  • Riassumere il testo.

Il codice deterministico si occupa di:

  • Valutare le affermazioni.
  • Verificare le fonti.
  • Etichettare le affermazioni come FATTO o INFERENZA.
  • Decidere se i dati sono aggiornati.

Un'affermazione riceve l'etichetta FATTO solo se soddisfa regole rigorose. Ad esempio, deve provenire da due fonti indipendenti o da un'API ufficiale. Tutto il resto diventa un'INFERENZA.

Usa questa pipeline:

  1. PIANIFICAZIONE: Trasforma la domanda in sotto-query.
  2. RACCOLTA: Recupera i dati da percorsi multipli.
  3. NORMALIZZAZIONE: Usa il LLM per estrarre affermazioni strutturate. Questo è l'unico passaggio che utilizza un LLM.
  4. CORROBORAZIONE: Raggruppa le affermazioni e conta le fonti indipendenti.
  5. VALUTAZIONE: Applica le regole per assegnare le etichette.
  6. RENDERING: Mostra fatti, inferenze e informazioni mancanti.

L'indipendenza è fondamentale. Un blog che cita un altro blog non costituisce due fonti. Hai bisogno di domini distinti o di un'API ufficiale per confermare un fatto.

Segui queste regole per un agente affidabile:

  • Usa l'escalation: Prova prima con una ricerca web. Passa a un motore di notizie o a una ricerca accademica solo se il primo passaggio fallisce.
  • Monitora la freschezza: Etichetta i dati vecchi come obsoleti. Non permettere che fatti datati passino per attuali.
  • Evidenzia le lacune: Elenca ciò che non sei riuscito a trovare. Una lacuna silenziosa è un fallimento.
  • Garantisci la riproducibilità: La stessa query deve produrre le stesse etichette ogni volta. Se le etichette cambiano, significa che un LLM sta valutando i dati. Sostituisci quella chiamata al LLM con una funzione.

Questo metodo permette al modello di fare ciò che sa fare meglio: leggere ed estrarre. Impedisce al modello di decidere cosa sia vero.

Source: https://dev.to/hexisteme/how-to-make-an-ai-research-agent-label-facts-vs-inferences-a-deterministic-provenance-pipeline-5dfn

Optional learning community: https://t.me/GyaanSetuAi