일상적인 업무를 위해 가장 진보된 AI가 정말 필요할까요?

매주 새로운 AI 모델이 등장합니다. 사람들은 벤치마크와 코딩 점수를 두고 논쟁합니다. 우리 모두는 흥분하곤 하죠.

하지만 저는 다른 질문을 던지기 시작했습니다. 일상적인 업무를 수행하는 데 정말로 가장 진보된 모델이 필요할까요?

최근에 이를 테스트해 보았습니다. 코드 리팩터링 작업을 위해 두 모델을 비교했습니다.

Haiku가 5.7배 더 저렴했습니다. 저는 비싼 모델이 이길 것이라고 예상했지만, 그렇지 않았습니다.

Haiku가 더 나은 결과를 만들어냈습니다. 코드를 세 개의 깔끔한 파일로 분리했고, Sonnet보다 우리의 코딩 표준을 더 잘 따랐습니다. 더 저렴하면서도 더 효과적이었습니다.

더 크고 비싸다고 해서 더 나은 것은 아닙니다.

모델의 성능은 프로세스의 일부일 뿐입니다. 저는 더 나은 결과를 얻기 위해 AI 개발 하네스(harness)를 사용합니다. 이 하네스에는 다음이 포함됩니다:

• 저장소(Repository)별 지침 • 코딩 표준 • 아키텍처 가이드 • 개발 워크플로우 • 프로젝트 컨텍스트 • 리뷰 기대 사항

이러한 가드레일을 구축하면 소형 모델의 성능이 향상됩니다. 모델은 좋은 코드가 어떤 모습인지 추측하는 것이 아니라, 환경이 모델에게 알려주는 것입니다.

대부분의 엔지니어링 작업은 연구 문제가 아닙니다. 리팩터링, 테스트 작성, 문서 생성과 같은 작업에는 거대한 모델이 필요하지 않습니다.

어떤 모델의 벤치마크가 가장 높은지 묻는 것을 멈추십시오. 대신 다음과 같은 질문을 던져보세요:

문제를 해결할 수 있는 가장 저렴한 모델을 사용하십시오.

AI 산업은 지능에 집중합니다. 여러분은 하네스의 품질에 집중해야 합니다. 적절한 컨텍스트를 제공한다면, 비용이 5.7배 저렴한 모델이 더 나은 결과를 낼 수 있습니다.

출처: https://dev.to/drottnings/do-we-really-need-the-most-advanced-ai-models-for-everyday-development-3n2b

선택 사항 학습 커뮤니티: https://t.me/GyaanSetuAi