Moja rutyna twierdziła, że się uruchomiła. Kłamała.

Uruchamiam system AI. Działa on według harmonogramu, aby sam się utrzymywał. Jedna z rutyn uruchamia się dwa razy w tygodniu, aby zapisać plik.

Harmonogram twierdził, że proces się wykonał. Znacznik czasu był obecny. Status był zielony.

Plik nie istniał. Nie był w złym folderze. Nie było go nigdzie.

Ludzie przeoczają to podczas budowania autonomicznych agentów. „Uruchomiło się” i „zadziałało” to nie to samo. Większość pulpitów nawigacyjnych sprawdza tylko, czy proces wystartował.

Harmonogram informuje cię, że proces wystartował. Nie mówi nic o rezultacie. Moja rutyna wystartowała, napotkała błąd podczas odczytu brakującego pliku i zatrzymała się. Nie doszło do awarii. Nie pojawił się żaden czerwony komunikat o błędzie. Proces się uruchomił, ale nic nie wyprodukował.

Przestałem patrzeć na status. Sprawdziłem dysk. Zastosowałem trzy weryfikacje:

  • Czy plik wyjściowy istnieje w tej chwili?
  • Czy plik jest świeży i nie jest pusty?
  • Jeśli pliku brakuje, przeczytaj surowy log uruchomienia. Nie czytaj podsumowania. Przeczytaj właściwy zapis (transcript) każdego wywołania narzędzia.

Podsumowanie mówiło, że rutyna była „epizodyczna”. Zapis (transcript) powiedział prawdę. Agent próbował odczytać plik pamięci. Plik nie istniał. Agent nigdy nie dotarł do kroku tworzenia pliku. Nie wykonał żadnego wywołania zapisu.

Podsumowanie skłoniłoby mnie do błędnej naprawy.

Jeśli zarządzasz autonomicznymi systemami, pamiętaj o tych zasadach:

  • „Uruchomienie” to nie „działanie”. Stan zdrowia systemu to sam plik. Plik musi istnieć, być świeży i nie może być pusty.
  • Specyfikacja to hipoteza. Dysk to fakt. Gdy są ze sobą sprzeczne, ufaj dyskowi.
  • Czytaj surowy log. Podsumowanie jest generowane przez ten sam system, który zawiódł. Zapis (transcript) pokazuje, które narzędzia faktycznie zostały uruchomione.

Naprawa była prosta. Sprawiłem, że rutyna najpierw zapisuje swój plik. Teraz plik jest zapisywany przed jakimkolwiek innym krokiem.

Większość problemów z agentami to nie błędy w rozumowaniu. To problemy z infrastrukturą (plumbing).

Source: https://dev.to/eltony_lfgi/my-routine-said-it-ran-it-was-lying-2gfb

Optional learning community: https://t.me/GyaanSetuAi