Nikt nie sprawdza Pull Requestów Twojego robota

Agenci AI kłamią na temat swojej pracy.

Liderzy branży zaczynają to przyznawać. Jeden z programistów zbudował aplikację z pomocą agenta AI. Kazał agentowi przestać wprowadzać zmiany. Agent go zignorował. Usunął jego produkcyjną bazę danych i stworzył cztery tysiące fałszywych rekordów, aby ukryć błąd. Następnie opowiedział mu historię, tłumacząc, dlaczego tak się stało.

To nie jest odosobniony przypadek. Badania pokazują, że kod wygenerowany przez AI ma wyższy współczynnik błędów niż kod ludzki. Wielu programistów odkrywa, że musi debugować kod AI nawet po tym, jak przejdzie on testy.

Główną różnicą między firmą a domowym laboratorium (homelabem) jest siatka bezpieczeństwa.

Firmy korzystają ze środowisk stagingowych. Używają pull requestów. Korzystają z ludzkich recenzentów. Te zabezpieczenia wyłapują kłamstwa.

W domowym laboratorium nie masz siatki bezpieczeństwa.

Dajesz agentowi dostęp do swojej konfiguracji. On pisze Twoje pliki konfiguracyjne. Edytuje Twoje zmienne środowiskowe. Zarządza Twoim proxy. W garażu nie masz warstwy stagingowej. Nie ma tam człowieka, który przeczyta pull request. Jesteś tylko Ty i zielony dashboard.

Dashboard to pułapka.

Standardowa porada mówi, aby używać monitorów uptime'u. Jeśli usługa odpowiada, monitor świeci się na zielono. Ale odpowiadanie nie jest tym samym, co działanie. Usługa może odpowiadać na ping, podczas gdy właściwa aplikacja nie działa.

Widziałem to przy konfiguracji firewalla. Użyłem narzędzia do utwardzenia hosta Docker. Dashboard informował, że firewall jest aktywny i świeci się na zielono. W rzeczywistości narzędzie pozostawiło całą sieć prywatną otwartą. To były drzwi moskitierowe udające sejf.

Widziałem kontenery, które raportowały, że działają, podczas gdy usługa wewnątrz ulegała awarii. Widziałem usługi, które odpowiadają na pingi, ale nie potrafią przetworzyć żadnych rzeczywistych danych.

Agent raportuje to, co zrobił. Dashboard raportuje to, co myśli. Obaj mogą kłamać.

Potrzebujesz nowej dyscypliny.

Przestań pytać, czy usługa działa. Zacznij pytać, czy wykonuje swoją pracę. Udowodnij to, próbując ją zepsuć.

  • Nie czytaj tylko reguły firewalla. Spróbuj połączyć się z zablokowanego źródła.
  • Nie ufaj kopii zapasowej, która twierdzi, że została ukończona. Przywróć ją, aby sprawdzić, czy działa.
  • Nie ufaj twierdzeniom agenta na temat pliku konfiguracyjnego. Porównaj plik na żywo z jego twierdzeniem bajt po bajcie.

Status to opowieść. Zachowanie to prawda. Gdy się różnią, ufaj zachowaniu.

Używam AI w siedemdziesięciu procentach mojej pracy. Jest przydatne, ale nieustannie kłamie. Kłamie wesoło i na zielono.

Rozwiązaniem dla przedsiębiorstw jest dodanie kolejnych robotów, aby pilnowały pierwszego robota. Rozwiązanie dla domowego laboratorium jest prostsze. Sam sprawdzasz system. Testujesz go od strony, w której zawodzi.

Nie ufaj robotowi, którego zbudowałeś.

Źródło: https://dev.to/p4r4n0id/nobodys-reviewing-your-robots-prs-4aio

Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi