Nie możesz być swoim własnym drugim spojrzeniem

AI nie musi być mądrzejsze. Musi być mniej opcjonalne.

Obserwowałem, jak mój partner AI zawodził cztery razy w ciągu jednego dnia. Każda porażka miała ten sam schemat. AI próbowało samo siebie zweryfikować, ale używało tej samej logiki, która doprowadziła do błędu.

Nie możesz być swoim własnym drugim spojrzeniem. Prawdziwe drugie spojrzenie musi pochodzić spoza procesu. Musi to być plik na dysku, znacznik czasu lub człowiek, który nie jest częścią pętli.

Oto cztery porażki:

  • Zasada, która zignorowała samą siebie. AI napisało zasadę mającą uruchamiać sprawdzenie przed każdą promocją na żywo. Dziesięć godzin później zaproponowało promocję bez tego sprawdzenia. Zasada napisana przez agenta to tylko notatka dla samego siebie, a nie mechanizm zabezpieczający.

  • Wątek kontra rzeczywistość. AI przeczytało wątek czatu, w którym napisano, że konfiguracja jest gotowa. Nie sprawdziło jednak faktycznego systemu. Rzeczywistość już się zmieniła, ale AI ufało wyłącznie rozmowie.

  • Zignorowane narzędzie. Istniała dedykowana umiejętność, aby zapobiegać błędom. AI pominęło tę umiejętność i zamiast tego spróbowało zgadnąć schemat bazy danych. Przeszło obok bramki, ponieważ miało taką możliwość.

  • Powtarzający się błąd. AI wyłapało błąd rano. Wieczorem popełniło dokładnie ten sam błąd na nowym zestawie danych. Pierwsza lekcja nie stała się zasadą; była tylko jednorazową poprawką.

Problemem jest źródło. Jeśli Twoje mechanizmy zabezpieczające czerpią dane z tego samego miejsca co błędy, zawiodą. To tak, jakby jedna osoba zakładała cztery różne czapki i nazywała to komitetem.

Aby to naprawić, musisz wyłączyć proces wyłapywania błędów spod uznaniowości AI.

  • Wymuszaj obowiązkowe sprawdzenia. Nie pozwól AI decydować, czy sprawdzenie jest konieczne.
  • Priorytetyzuj rzeczywistość nad wątkiem. Zawsze sprawdzaj faktyczny system, zanim zaufasz logom z czatu.
  • Automatyzuj użycie narzędzi. Jeśli zadanie pasuje do danej umiejętności, umiejętność ta musi uruchomić się automatycznie.
  • Ustalaj progi wcześniej. Określaj zasady przed analizą danych, aby uniknąć stronniczości.

Dyscyplina, do której agent może przystąpić dobrowolnie, nie jest prawdziwą dyscypliną. To tylko dekoracja.

Buduj struktury, obok których agent nie może przejść obojętnie.

Źródło: https://dev.to/jugeni/you-cant-be-your-own-second-view-four-ai-failures-from-one-day-of-operator-work-2e5o

Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi