Jak powstrzymać AI przed błędnym etykietowaniem wnioskowania jako faktów

Agenci badawczy AI często mieszają fakty z domysłami. Strona internetowa może podawać wartość rynku. Agent wyciąga następnie wniosek, że rynek rozwija się szybko. W końcowym tekście oba stwierdzenia wyglądają tak samo. Takie mieszanie danych z opinią jest niebezpieczne.

Nie naprawisz tego lepszymi promptami. Prompty są probabilistyczne. Pod presją model zacznie zgadywać.

Rozwiązanie ma charakter strukturalny. Przenieś proces podejmowania decyzji z LLM do swojego kodu.

Podziel pracę na dwie części:

LLM wykonuje:

  • Wyodrębnia twierdzenia ze strony.
  • Streszcza tekst.

Kod deterministyczny wykonuje:

  • Przypisuje oceny twierdzeniom.
  • Weryfikuje źródła krzyżowo.
  • Etykietuje twierdzenia jako FAKT lub WNIOSKOWANIE.
  • Decyduje, czy dane są aktualne.

Twierdzenie otrzymuje etykietę FAKT tylko wtedy, gdy spełnia surowe reguły. Na przykład musi pochodzić z dwóch niezależnych źródeł lub z jednego oficjalnego API. Wszystko inne staje się WNIOSKOWANIEM.

Zastosuj następujący pipeline:

  1. PLANOWANIE: Zamień pytanie na zapytania pomocnicze.
  2. ZBIERANIE: Pobierz dane z wielu ścieżek.
  3. NORMALIZACJA: Użyj LLM do wyodrębnienia ustrukturyzowanych twierdzeń. To jedyny krok wykorzystujący LLM.
  4. POTWIERDZANIE: Pogrupuj twierdzenia i policz niezależne źródła.
  5. OCENA: Zastosuj reguły, aby przypisać etykiety.
  6. WYŚWIETLANIE: Pokaż fakty, wnioskowania i brakujące informacje.

Kluczowa jest niezależność. Jeden blog cytujący inny blog to nie są dwa źródła. Aby potwierdzić fakt, potrzebujesz odrębnych domen lub oficjalnego API.

Przestrzegaj tych zasad, aby stworzyć niezawodnego agenta:

  • Stosuj eskalację: Najpierw spróbuj wyszukiwania w sieci. Przejdź do silnika informacyjnego lub wyszukiwarki akademickiej tylko wtedy, gdy pierwszy krok zawiedzie.
  • Śledź aktualność: Oznaczaj stare dane jako nieaktualne. Nie pozwól, aby stare fakty przechodziły jako bieżące.
  • Wskazuj luki: Wymień to, czego nie udało Ci się znaleźć. Brak informacji, o którym nie wspomniano, to porażka.
  • Zapewnij powtarzalność: To samo zapytanie musi za każdym razem generować te same etykiety. Jeśli etykiety się zmieniają, oznacza to, że to LLM ocenia dane. Zastąp to wywołanie LLM funkcją.

Ta metoda pozwala modelowi robić to, co potrafi najlepiej: czytać i wyodrębniać. Zapobiega ona podejmowaniu przez model decyzji o tym, co jest prawdą.

Źródło: https://dev.to/hexisteme/how-to-make-an-ai-research-agent-label-facts-vs-inferences-a-deterministic-provenance-pipeline-5dfn

Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi