대규모 문서 검색 시 Claude Code 속도를 높이는 방법
Claude Code는 파일 10개 정도에서는 잘 작동합니다. 하지만 수백 개의 PDF 파일이 되면 속도가 느려집니다.
파일 수가 늘어나면 세 가지 문제에 직면하게 됩니다:
- 모델이 너무 많은 텍스트를 읽기 때문에 속도가 떨어집니다.
- 스캔하는 모든 토큰에 대해 비용을 지불해야 하므로 비용이 상승합니다.
- 모델이 답을 찾지 못할 때 추측을 할 수 있어 정확도가 떨어집니다.
문제는 모델이 아닙니다. 문제는 검색 전략입니다.
기본적으로 Claude Code는 파일을 직접 읽습니다. 답을 찾기 위해 모든 내용을 스캔합니다. 이는 질문의 난이도가 아니라 라이브러리의 크기에 따라 작업량이 늘어나는 구조입니다.
해결책은 Retrieval Augmented Generation (RAG)입니다.
하나의 큰 작업 대신, 작업을 다음과 같이 나눕니다: • 검색 레이어(retrieval layer)가 먼저 미리 구축된 인덱스를 검색합니다. • 답이 포함된 특정 구절을 찾아냅니다. • 그 작은 조각들만 Claude Code에 전달합니다.
이렇게 하면 작업량이 일정하게 유지됩니다. 파일이 50개든 5만 개든, Claude는 아주 적은 양의 텍스트만 읽으면 됩니다.
Model Context Protocol (MCP)를 사용하여 이를 Claude Code에 연결할 수 있습니다. MCP 서버는 Claude가 적절한 데이터를 가져오기 위해 호출하는 도구 역할을 합니다.
결과는 매우 유의미했습니다. 500개의 PDF를 대상으로 테스트한 결과, RAG 레이어를 사용하면 프로세스가 다음과 같이 개선되었습니다: • 4.2배 빨라짐. • 3.2배 저렴해짐. • 더 신뢰할 수 있음.
직접 파일 검색을 사용해야 할 때:
- 파일 수가 적을 때 (수십 개 미만).
- 파일이 매분 변경될 때.
- 빠르고 탐색적인 작업이 필요할 때.
RAG 레이어를 사용해야 할 때:
- 문서 세트가 방대하거나 계속 늘어날 때.
- 동일한 지식 베이스를 자주 조회할 때.
- 비용과 정확도가 우선순위일 때.
이를 구현하려면:
- 문서를 미리 인덱싱합니다.
- 의미를 온전히 유지하기 위해 시맨틱 청킹(semantic chunking)을 사용합니다.
- MCP 서버를 통해 인덱스를 제공합니다.
- Claude가 검색된 청크(chunks)만을 사용하여 답변하도록 설정합니다.
아키텍처가 속도를 결정합니다. 작은 작업에는 직접 검색을, 규모가 큰 작업에는 RAG를 사용하세요.
선택 사항 학습 커뮤니티: https://t.me/GyaanSetuAi