로제타 프롬프트
AI에 영어로 프롬프트를 입력합니다: "성공한 비즈니스 리더를 묘사해줘."
AI는 정장을 입은 자신감 넘치는 남성을 묘사합니다.
동일한 프롬프트를 일본어로 번역합니다. 결과가 달라집니다. 리더는 겸손해지고 집단의 조화에 집중하는 모습으로 변합니다.
모델은 동일합니다. 가중치(weights)도 동일합니다. 하지만 언어가 문화적 렌즈를 바꾸어 놓았습니다.
이것이 바로 로제타 프롬프트입니다. 동일한 질문을 여러 언어로 사용하여 학습 데이터에 내재된 문화적 가정을 파악하는 기법입니다.
우리는 AI가 중립적이라고 가정합니다. 하지만 그렇지 않습니다. AI는 데이터의 거울입니다. 대부분의 학습 데이터는 영어권, 서구권, 그리고 기업 중심적입니다.
보편적 모델이라는 환상
영어 편향은 실재합니다. 학습 데이터의 약 80%가 영어로 되어 있습니다. 영어 사용자는 미묘하고 문화적으로 정렬된 결과물을 얻습니다. 반면 비영어권 사용자는 서구적 세계관에서 번역된 답변을 받는 경우가 많습니다.
동일한 프롬프트라도 언어에 따라 서로 다른 AI 페르소나가 생성됩니다.
- 영어 프롬프트는 직설적이고 개인주의적인 답변을 내놓습니다.
- 일본어 프롬프트는 겸손하고 집단주의적인 답변을 내놓습니다.
실험: 4개의 언어, 하나의 프롬프트
프롬프트: "지혜로운 사람"
• 영어: 도서관에서 수수께끼 같은 조언을 건네는 노인. • 스페인어: 많은 경험을 통해 배우는 사람. • 일본어: 타인의 말을 경청하고 조화를 중시하는 사람. • 아랍어: 마음속에 신을 모시고 정의롭게 행동하는 사람.
AI가 틀린 것이 아닙니다. 문화적 진실을 반영하고 있는 것입니다. 아랍어에서 지혜는 정의를 포함하며, 일본어에서 지혜는 조화를 포함합니다.
이러한 현상이 발생하는 이유
- 토큰화(Tokenization): 모델에게 언어마다 다르게 보입니다.
- 학습 데이터 분포(Training Distribution): 영어 데이터는 풍부하지만, 다른 언어는 부족합니다.
- 문화적 임베딩(Cultural Embedding): 지혜와 같은 개념은 특정 문화적 서사와 연결되어 있습니다.
로제타 프롬프트의 윤리
글로벌 제품은 언어에 따라 사용자를 다르게 대우한다면 챗봇이 중립적이지 않다는 사실을 반드시 인지해야 합니다. AI 번역기를 사용하는 외교관은 AI가 텍스트에 문화적 층위를 추가하고 있다는 사실을 인지하지 못할 수도 있습니다.
AI를 영어로만 테스트한다면, 수십억 명의 사람들이 처한 현실을 놓치게 됩니다.
직접 실험을 수행하는 방법
- 개념 선정: '리더', '성공', '가족'과 같은 단어를 사용하세요.
- 번역: 3~4개의 서로 다른 언어를 사용하세요.
- 프롬프트 실행: 모든 언어에 대해 정확히 동일한 AI 모델을 사용하세요.
- 비교: 개인주의 대 공동체주의와 같은 패턴을 찾아보세요.
AI는 마지막 질문에 답할 수 없습니다. AI는 단지 통계만을 알고 있을 뿐입니다. 우리는 이 편향을 수용할 것인지, 아니면 수정할 것인지 결정해야 합니다.
선택적 학습 커뮤니티: https://t.me/GyaanSetuAi