지렛대에는 하네스가 필요합니다
AI는 빠릅니다. 인간이 따라갈 수 없는 속도로 코드를 작성합니다. 하지만 통제력이 없다면 그 속도는 위험 요소가 됩니다.
최근 저는 복잡한 트레이딩 시스템을 재구축해야 했습니다. 주식, 외환, 암호화폐에 걸쳐 2만 개의 신호를 지원해야 했고, 각 신호는 고유한 시장 범위를 가지고 있었습니다. 이것은 모델의 문제가 아니라, 하네스(harness, 안전장치)의 문제였습니다.
저는 AI를 사용하여 6개의 웨이브로 구성된 30개의 티켓 계획을 설계했습니다. 단 한 번의 세션에 모든 작업을 맡기지 않았습니다. 대신, 두 개의 별도 AI 세션을 사용했습니다:
• 빌더(The Builder): 한 세션은 코드와 계획을 설계했습니다. • 감사자(The Auditor): 두 번째 세션은 코드를 작성하기 전에 설계를 검토했습니다.
첫 번째 감사는 통과되었습니다. 성공적이라고 느꼈죠. 그러다 세 번째 AI를 사용하여 처음부터 전체 설계를 다시 감사했습니다. 그 결과 14개의 심각한 모순이 발견되었습니다.
설계는 겉보기에는 좋아 보였습니다. 구조도 있고 제목도 있었죠. 하지만 실속이 없었습니다. 어떤 티켓은 다른 티켓이 이미 이름을 바꾼 컬럼을 참조하고 있었고, 어떤 티켓은 설계상 필수인 필드를 선택 사항으로 예상하고 있었습니다. 이것은 코딩 버그가 아니라, 설계상의 논리적 모순이었습니다.
만약 코딩을 시작했다면, 시스템은 실패했을 것입니다.
이를 통해 AI와 협업하는 것에 대해 세 가지를 배웠습니다:
- AI는 반드시 작업을 완수하기 위해서가 아니라, 대화를 완성하도록 훈련되었습니다. AI는 항상 정답을 주기보다는 만족스러운 답변을 주려고 합니다.
- AI는 컨텍스트 창(context window)이 제한적입니다. 제약 사항이 그 창을 벗어나면, 모델은 그 빈틈을 그럴듯한 내용으로 채워버립니다. '그럴듯함'은 종종 '틀림'을 의미합니다.
- 모델은 흔한 도구(commodity)일 뿐입니다. 진짜 제품은 그 모델 주변에 구축하는 하네스입니다.
하네스는 모델을 감싸는 프로세스를 의미합니다. 여기에는 다음이 포함됩니다:
- 설계 정렬(Design alignment): 모델과 사용자가 동일한 문제를 바라보고 있는지 확인하는 것.
- 다중 세션 감사(Multi-session auditing): 별도의 컨텍스트를 사용하여 작업을 검토하는 것.
- 강화된 테스트(Hardened testing): AI가 얼마나 자신감 있게 말하는지와 상관없이 작동하는 스크립트를 사용하는 것.
모델은 지렛대입니다. 하네스는 그 지렛대가 시스템을 망가뜨리지 않도록 잡아주는 장치입니다. 단순히 모델을 구매하지 마십시오. 콕핏(cockpit)을 구축하십시오.
Source: https://dev.to/whetlan/the-lever-needs-a-harness-14e9
선택 사항인 학습 커뮤니티: https://t.me/GyaanSetuAi