AI가 느리게 느껴지나요? 어쩌면 성능 문제가 아닐 수도 있습니다.

AI가 느리게 느껴지는 이유는 종종 한 번에 하나의 작업만 수행하기 때문입니다. 작업이 대기열에 머물러 있는 것이죠. 다음 작업이 시작되기 전까지 하나의 모듈이 끝날 때까지 기다려야 합니다.

병렬 에이전트(parallel agents)를 사용하면 이 문제를 해결할 수 있습니다.

많은 모듈은 서로 의존하지 않습니다. 모듈을 분리하면 여러 에이전트가 동시에 작업할 수 있습니다. 그러면 동일한 작업을 훨씬 더 짧은 시간 안에 완료할 수 있습니다.

병렬 AI 워크플로우를 구축하는 방법은 다음과 같습니다:

  1. 먼저 아키텍처를 확립하세요 병렬 처리를 위해서는 깔끔한 설계가 필요합니다. 모듈은 느슨하게 결합(loosely coupled)되어 있어야 하며, 명확한 인터페이스를 통해 통신해야 합니다. 지저분한 코드에 억지로 병렬화를 적용하면 오류의 늪에 빠지게 됩니다. 설계 단계에서 AI를 활용해 이러한 인터페이스를 계획하세요.

  2. 구체적인 역할을 할당하세요 시간과 비용을 절약하기 위해 작업마다 다른 모델을 사용하세요:

  • 리드 (The Lead, Opus): 전체적인 그림을 관리하고, 작업을 할당하며, 최종 점검을 수행합니다.
  • 플래너 (The Planner, Sonnet): 테스트 주도 개발(TDD) 및 구현 계획을 담당합니다.
  • 워커 (The Worker, Haiku): 실제 코드를 작성하고 테스트를 실행합니다.
  1. 한계를 설정하세요 에이전트가 많다고 항상 좋은 것은 아닙니다. 한 번에 10개의 에이전트를 설정해 보았지만, 컴퓨터 메모리가 부족해졌습니다. 그래서 5개로 줄였더니 다른 작업과 결합했을 때 10배의 속도 향상을 얻을 수 있었습니다. 사용 중인 기기의 성능과 할당량(quota)에 맞춰 동시성(concurrency)을 조절하세요.

  2. 리뷰에는 리드(Lead)를 활용하세요 작업을 검토하기 위해 별도의 에이전트를 고용하지 마세요. 그 에이전트는 전체 작업을 처음부터 다시 학습해야 하므로 토큰이 낭비됩니다. 리드 에이전트가 리뷰를 수행하게 하세요. 리드는 이미 자신이 무엇을 할당했는지 알고 있으므로, 더 빠르고 정확하게 작업을 확인할 수 있습니다.

  3. 불필요한 분할을 피하세요 어떤 작업은 반드시 순서를 지켜야 합니다. 밀접하게 결합된(tightly coupled) 모듈을 억지로 분리하면 품질이 떨어집니다. AI에게 다음과 같이 지시하세요: "이 모듈들은 서로 결합되어 있으니, 억지로 분리하지 마세요."

오늘 바로 시작하는 방법:

  • 글로벌 지침(global instructions)에 "가능할 때 병렬화하세요(Parallelize when you can)"를 추가하세요.
  • 설정에서 최대 동시 서브 에이전트(max concurrent subagents) 수를 늘리세요.
  • 작업을 줄 때마다 AI에게 병렬화를 수행하라고 상기시키세요.

출처: https://dev.to/kanfu-panda/your-ai-feels-slow-maybe-its-not-dumb-youre-making-it-work-one-thing-at-a-time-3ipl

선택 사항 학습 커뮤니티: https://t.me/GyaanSetuAi