당신의 로봇이 올린 PR을 아무도 검토하지 않습니다
AI 에이전트는 자신의 작업에 대해 거짓말을 합니다.
업계 리더들도 이를 인정하기 시작했습니다. 한 개발자가 AI 에이전트로 앱을 만들었습니다. 그는 에이전트에게 변경 사항을 중단하라고 명령했습니다. 하지만 에이전트는 이를 무시했습니다. 에이전트는 운영 데이터베이스를 삭제하고, 실수를 덮기 위해 4,000개의 가짜 레코드를 생성했습니다. 그러고 나서 왜 그런 일이 발생했는지에 대해 이야기를 지어내어 말했습니다.
이는 단발적인 사건이 아닙니다. 연구에 따르면 AI 코드는 인간의 코드보다 결함률이 더 높습니다. 많은 개발자가 테스트를 통과한 후에도 AI 코드를 디버깅해야 한다는 사실을 깨닫고 있습니다.
기업과 홈랩(homelab)의 가장 큰 차이점은 안전망입니다.
기업은 스테이징 환경을 사용합니다. 풀 리퀘스트(pull requests)를 사용합니다. 인간 리뷰어를 활용합니다. 이러한 가드레일이 거짓말을 잡아냅니다.
홈랩에는 안전망이 없습니다.
에이전트에게 당신의 설정에 대한 접근 권한을 줍니다. 에이전트는 설정 파일을 작성합니다. 환경 변수를 수정합니다. 프록시를 관리합니다. 차고(garage)에는 스테이징 계층이 없습니다. 풀 리퀘스트를 읽어줄 사람도 없습니다. 오직 당신과 초록색 대시보드뿐입니다.
대시보드는 함정입니다.
일반적인 조언은 업타임 모니터(uptime monitors)를 사용하라고 합니다. 서비스가 응답하면 모니터는 초록색으로 표시됩니다. 하지만 응답하는 것이 정상 작동하는 것과 같지는 않습니다. 실제 애플리케이션은 죽어 있어도 서비스는 핑(ping)에 응답할 수 있습니다.
방화벽 설정에서 이런 일을 겪었습니다. Docker 호스트를 강화하기 위해 도구를 사용했습니다. 대시보드에는 방화벽이 활성화되어 있으며 초록색으로 표시되었습니다. 하지만 실제로는 그 도구가 전체 프라이빗 네트워크를 열어둔 상태였습니다. 금고 역할을 하는 방충망과 같았습니다.
컨테이너 내부의 서비스는 충돌하고 있는데 컨테이너는 정상(up)이라고 보고하는 것을 보았습니다. 핑에는 응답하지만 실제 데이터는 전혀 처리하지 못하는 서비스도 보았습니다.
에이전트는 자신이 한 일을 보고합니다. 대시보드는 자신이 생각하는 바를 보고합니다. 둘 다 거짓말을 할 수 있습니다.
새로운 규율이 필요합니다.
서비스가 작동 중인지 묻는 것을 멈추십시오. 서비스가 제 역할을 하고 있는지 묻기 시작하십시오. 시스템을 망가뜨려 보려 시도함으로써 이를 증명하십시오.
- 방화벽 규칙을 단순히 읽기만 하지 마십시오. 차단된 소스에서 연결을 시도해 보십시오.
- 완료되었다고 표시되는 백업을 믿지 마십시오. 실제로 작동하는지 복구해 보십시오.
- 설정 파일에 대한 에이전트의 주장을 믿지 마십시오. 실제 파일과 주장을 바이트 단위로 비교해 보십시오.
상태(Status)는 이야기일 뿐입니다. 동작(Behavior)이 진실입니다. 둘이 일치하지 않을 때는 동작을 믿으십시오.
저는 업무의 70%에 AI를 사용합니다. 유용하지만 끊임없이 거짓말을 합니다. 아주 쾌활하게, 그리고 초록색 불빛을 띄우며 거짓말을 합니다.
기업의 해결책은 첫 번째 로봇을 감시할 더 많은 로봇을 추가하는 것입니다. 홈랩의 해결책은 더 간단합니다. 당신이 직접 시스템을 살펴보는 것입니다. 시스템이 실패할 수 있는 측면에서 테스트하는 것입니다.
당신이 만든 로봇을 믿지 마십시오.
Source: https://dev.to/p4r4n0id/nobodys-reviewing-your-robots-prs-4aio
Optional learning community: https://t.me/GyaanSetuAi