세 개의 모델, 세 개의 의견, 0달러
예전에는 AI에게 제2의 의견을 물을 때마다 1.50달러를 지불하곤 했습니다.
하루에도 몇 번씩 세 개의 모델을 돌렸습니다. 호출 한 번당 약 50센트가 들었습니다. 월간 청구서상으로는 적어 보였지만, 총합을 따져보면 제 가장 비싼 습관이었습니다. 코드를 생성하는 데는 아무런 도움이 되지 않으면서 말이죠.
이제 그 똑같은 세 개의 의견을 얻는 데 드는 비용은 0달러입니다.
저는 동일한 모델과 동일한 프롬프트를 사용합니다. 차이점은 요청을 전달하는 방식에 있습니다. 이미 결제 중인 구독 서비스를 통해 요청을 보냅니다. 이렇게 하면 추가 비용이 전혀 들지 않습니다.
모델 하나를 돌리는 것보다 세 개를 돌리는 것이 더 좋습니다. 그 이유는 다음과 같습니다.
단일 모델은 검증이 아닙니다. 그것은 메아리일 뿐입니다.
하나의 모델에게 작업물을 검증해 달라고 하면, 모델은 종종 당신의 의견에 동조합니다. 당신의 논리가 성립되도록 방법을 찾아내죠. 이는 리뷰가 아닙니다. 당신이 저지른 실수를 확신에 찬 어조로 되풀이하는 것뿐입니다.
모델마다 특정한 사각지대가 있습니다. 이러한 오류는 종종 특정 벤더(vendor)에 집중되는 경향이 있습니다. 만약 같은 계열의 모델 두 개를 사용한다면, 두 모델 모두 동일한 오류를 놓칠 수 있습니다.
저는 적어도 두 가지 이상의 서로 다른 계보를 가진 세 가지 목소리를 사용합니다.
• GPT급 모델 • 중간 단계의 Claude 모델 • 최상위 Claude 모델
저는 각 모델에게 판결과 그 근거를 묻습니다. 단순히 최종 답변만 보는 것이 아니라, 그 추론 과정을 읽습니다.
만약 두 모델이 "예"라고 답하면서도 서로 다른 논리를 사용한다면, 더 자세히 살펴봅니다. 만약 의견이 엇갈린다면, 제가 틀린 지점을 정확히 찾아낸 것입니다. 저는 모델들에게 투표를 시키지도, 답변을 평균 내지도 않습니다. 대신 의견이 갈리는 지점을 읽습니다.
왜 세 개의 모델일까요?
다섯 개의 모델은 너무 느립니다. 마지막 두 번의 호출은 대개 앞선 세 모델이 한 말을 반복할 뿐입니다. 세 개의 모델이면 충분히 승부를 가릴 수 있습니다.
저는 얼마나 많은 토큰을 소모할지 고민하는 것을 그만두었습니다. 대신 어떤 구독 계정을 사용할지를 생각하기 시작했습니다.
단일 작업에는 API 과금 방식이 괜찮습니다. 하지만 반복적인 검증에는 정액제 구독이 더 낫습니다. 비용 걱정 없이 하루 종일 검증을 수행할 수 있기 때문입니다.
위원회는 당신의 작업을 검증하는 것이지, 새로운 아이디어를 만들어내는 것이 아닙니다. 완전히 새로운 문제라면 모델 하나를 사용하세요. "내가 당연한 걸 놓친 건 아닐까?"와 같은 일상적인 질문에는 세 개를 사용하세요.
당신의 작업을 꼼꼼히 따져보는 세 개의 모델이, 당신에게 동조하는 하나의 모델보다 훨씬 낫습니다.
Source: https://dev.to/fillip_kosorukov/three-models-three-opinions-zero-dollars-41im
Optional learning community: https://t.me/GyaanSetuAi