Przestań pytać modele LLM, czy ich źródła są prawdziwe

Prosisz AI o listę źródeł. Podaje Ci tytuły, autorów i numery DOI. Wszystko wygląda idealnie. Potem okazuje się, że połowa z nich nie istnieje.

DOI prowadzi donikąd. Artykuł nigdy nie został napisany.

Twoim instynktem jest zapytanie modelu: „Czy masz pewność, że to jest prawdziwe?”. AI odpowie, że tak. Zawsze mówi, że tak. Pytasz fałszerza, czy jego praca jest autentyczna.

LLM nie korzysta z bazy danych artykułów. Przewiduje on kolejne słowo w sekwencji. Dla AI cytowanie to po prostu wzorzec. Model wie, że cytowanie wymaga nazwiska, roku i dziesięciu cyfr. Naśladuje kształt prawdziwego źródła, nie zawierając w sobie prawdy.

Przestań prosić model o weryfikację własnej pracy. Nie może tego zrobić z dwóch powodów:

  • Nie ma dostępu do aktualnych rejestrów. Generuje jedynie prawdopodobny tekst.
  • Wykazuje tendencję do potwierdzania tego, co już powiedziało.

Musisz używać zewnętrznych narzędzi do weryfikacji informacji. Oto trzystopniowy filtr dla tekstów technicznych:

  1. Istnienie. Sprawdź DOI za pomocą API, takiego jak Crossref. Jeśli API zwróci błąd 404, źródło jest fałszywe. Wymyślone DOI nigdy nie zostanie rozwiązane.

  2. Wiarygodność. Źródło może istnieć, a mimo to być bezwartościowe. Sprawdź, czy czasopismo lub konferencja są uznawane. Poprawne DOI nie gwarantuje jakości.

  3. Wierność. Czy artykuł faktycznie wspiera Twoją tezę? Musisz przeczytać treść. Nie zakładaj, że streszczenie zawiera każdy szczegół. Prawdziwe cytowanie użyte do poparcia fałszywego twierdzenia to wciąż kłamstwo.

Dotyczy to nie tylko prac naukowych. Jeśli AI cytuje zgłoszenie w JIRA, numer CVE lub commit w kodzie, musisz zweryfikować to w rzeczywistym systemie.

Największym błędem w architekturze AI jest ufanie, że model sam się zweryfikuje. Weryfikacja musi być osobnym krokiem. Musi ona łączyć się ze zewnętrznym źródłem prawdy, zanim użytkownik zobaczy wynik.

Nie próbuj czynić modeli bardziej uczciwymi. Są to generatory tekstu i zawsze będą halucynować. Zamiast tego przestań im wierzyć na słowo.

Cytowanie, którego nie możesz zweryfikować w rejestrze, nie jest cytowaniem. To jedynie domysł w białym fartuchu.

Źródło: https://dev.to/ohugonnot/stop-asking-the-llm-whether-its-source-is-real-2oaa

Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi