Loopcraft란 무엇인가?

AI 업계에 새로운 용어가 등장했습니다: Loopcraft.

누군가는 이를 오래된 개념의 새로운 이름이라고 부를지도 모릅니다. 예전에는 이를 에이전트 루프(Agent Loops) 또는 워크플로우 엔지니어링(Workflow Engineering)이라고 불렀습니다. 하지만 실리콘밸리에서 일어나고 있는 변화는 실재합니다.

Andrej Karpathy나 Boris Cherny와 같은 전문가들은 수동 프롬프팅에서 벗어나고 있습니다. 그들은 더 이상 에이전트에게 프롬프트를 입력하지 않습니다. 대신 에이전트에게 프롬프트를 전달하는 루프를 설계합니다.

핵심적인 변화는 추상화에 있습니다.

기존 방식: 인간 -> 프롬프트 -> 에이전트 -> 결과

새로운 방식: 인간 -> 루프 설계 -> 작업 발견 -> 실행 -> 자동 검증 -> 재시도 -> 상태 저장 -> 계속

프롬프트 엔지니어링(Prompt Engineering)은 단일 상호작용을 최적화합니다. Loopcraft는 반복적으로 실행되는 전체 시스템을 최적화합니다.

Loopcraft는 다음과 같은 시스템적 질문에 집중합니다:

• 다음 작업은 누가 시작하는가?
• 에이전트는 목표를 어떻게 인지하는가?
• 출력값은 누가 확인하는가?
• 실패가 어떻게 피드백을 생성하는가?
• 세션 간에 상태는 어떻게 저장되는가?

단지 한 단계만을 자동화한다면, 그것은 시스템을 구축하는 것이 아닙니다. 그저 수동 프로세스의 속도를 높이는 것일 뿐입니다.

진정한 루프는 전체 라이프사이클을 처리합니다. 예를 들어, 사용자가 직접 CI 실패를 수정하는 대신, Loopcraft 시스템은 다음과 같이 동작합니다:

• 실패를 감지합니다.
• 로그를 읽습니다.
• 격리된 환경에서 에이전트를 실행합니다.
• 코드를 수정합니다.
• 테스트를 실행합니다.
• 두 번째 검증기(verifier)를 사용하여 차이점(diff)을 확인합니다.
• 통과되면 PR을 생성합니다.

이것이 에이전트 하네스(Agent Harness)와 Loopcraft의 차이점입니다. 하네스는 환경입니다. 도구, 메모리, 권한을 제공하며 "에이전트가 어떻게 작동하는가?"라는 질문에 답합니다. Loopcraft는 오케스트레이션(orchestration)입니다. "에이전트가 언제 실행되며, 왜 계속 진행되는가?"라는 질문에 답합니다.

최소한의 루프를 구축하려면 여섯 가지 요소가 필요합니다:

• 트리거(Trigger): CI 실패나 예약된 작업과 같은 이벤트.
• 목표(Goal): 기계가 검증 가능한 조건 또는 테스트.
• 상태(State): 진행 상황과 실패 원인을 저장하는 방법.
• 워커(Worker): 격리된 컨테이너에서 실행되는 에이전트.
• 검증기(Verifier): 작업 결과의 등급을 매기는 테스트 또는 두 번째 LLM.
• 예산(Budget): 시간, 비용 및 재시도 횟수에 대한 제한.

Loopcraft의 최고 단계는 개선 루프(improvement loop)입니다. 단순한 루프는 작업을 반복할 뿐이지만, 개선 루프는 실패를 분석하여 시스템 자체를 변경합니다. 다음 실행이 더 나아질 수 있도록 프롬프트와 도구를 조정합니다.

모든 결과를 일일이 수동으로 수정하려 하지 마세요. 그 결과를 만들어내는 시스템을 수정하기 시작하세요.

출처: https://dev.to/luhuidev/what-is-loopcraft-from-prompt-engineering-to-agent-loop-system-design-2dff

선택 사항 학습 커뮤니티: https://t.me/GyaanSetuAi