사실을 왜곡하지 않고 AI를 사용하는 방법
AI는 무료 티어가 없는 도구에 대해 무료 티어가 있다고 말하곤 합니다. 존재하지 않는 기능이나 예전 가격을 알려주기도 하죠. 이것은 오타가 아닙니다. 모델이 그저 그럴듯해 보이는 단어로 빈틈을 채우고 있는 것입니다.
리뷰를 게시하는 입장이라면 이러한 실수는 매우 위험합니다. 독자들이 잘못된 요금제에 가입하게 만들기 때문입니다.
저희는 기사를 작성할 때 AI를 사용합니다. AI가 포스트에 관여할 때마다 이를 명시합니다. 저희의 목표는 AI가 사실을 지어내는 것을 막는 것입니다. 저희의 프로세스는 다음과 같습니다.
저희는 두 가지 업무를 분리합니다. AI가 두 업무를 모두 수행하게 하지 않습니다.
- 작업 1: 텍스트 작성.
- 작업 2: 사실 확인.
AI는 첫 번째 작업은 수행할 수 있지만, 두 번째 작업은 절대 허용되지 않습니다.
저희 리뷰에 포함된 모든 사실은 저희가 직접 확인한 출처에서 나옵니다. 저희는 가격 페이지, 변경 로그(changelog), 문서를 직접 확인합니다. 이러한 사실들을 URL 및 날짜와 함께 노트 문서에 기록합니다. 그 후에야 AI가 해당 사실들을 바탕으로 텍스트를 작성합니다.
저희의 프롬프트는 다릅니다. 대부분의 사람들은 "이 도구의 가격에 대해 알려줘"라고 묻습니다. 저희는 이렇게 말합니다: "오늘 확인된 네 가지 가격 정보가 여기 있어. 이 정보들만 사용해서 한 단락을 작성해줘. 추가하고 싶은 내용이 있다면 말해줘."
이렇게 하면 AI의 거짓말하려는 성향을 사람이 확인할 수 있는 목록으로 바꿀 수 있습니다.
저희는 다음 규칙을 따릅니다:
- 출처가 없는 숫자는 신뢰하지 않습니다. 가격, 제한 사항, 날짜 등은 1차 출처를 통해 증명하기 전까지는 모두 잘못된 것으로 간주합니다.
- AI가 출처를 인용하게 하지 않습니다. AI가 "연구에 따르면"이라고 말한다면, 실제 링크가 없는 한 해당 내용은 삭제합니다.
- AI는 구조를 잡는 데 사용합니다. 노트를 정리하거나, 문법을 교정하거나, 표의 뼈대를 만드는 데 도움을 줍니다. 이러한 작업은 AI가 실제 세계의 사실을 알 필요가 없습니다.
- 두 번의 별도 검토 과정을 거칩니다. 첫 번째 검토는 품질을 위한 것이고, 두 번째 검토는 오직 주장만을 위한 것입니다. 저희는 "이 특정 문장은 어디에서 왔는가?"라고 자문합니다. 만약 노트에 없는 내용이라면 삭제합니다.
리뷰는 오늘 맞더라도 3개월 뒤에는 틀릴 수 있습니다. 도구의 가격은 변하기 때문입니다. 저희는 정기적으로 사실을 재확인할 수 있도록 날짜가 포함된 출처 링크를 보관합니다.
시스템은 간단합니다:
- AI는 글을 씁니다.
- 사람은 사실을 책임집니다.
- 모든 주장에는 날짜가 명시된 출처가 있습니다.
- 게시하기 전에 두 번 확인합니다.
AI에게 할 수 없는 일을 요구하지 마세요.
출처: https://dev.to/pickuma/how-we-use-ai-without-letting-it-hallucinate-into-reviews-1of5