Fable ของ Anthropic และสถานะของ AI

รัฐบาลสหรัฐฯ จัดให้โมเดล Fable ของ Anthropic เป็นอาวุธที่อันตราย เนื่องจากมันสามารถค้นหาและใช้ประโยชน์จากช่องโหว่ของซอฟต์แวร์ได้

Anthropic พยายามจำกัดการเข้าถึง แต่พวกเขาก็ล้มเหลวในการหยุดยั้งปัญหาที่เป็นต้นตอ

ความเสี่ยงที่แท้จริงอยู่ที่ harness ซึ่งก็คือซอฟต์แวร์ที่ทำงานอยู่รอบๆ AI หากมี harness ที่ดี โมเดลโอเพนซอร์สขนาดเล็กจะสามารถทำงานได้เหมือนกับระบบ frontier ขนาดมหึมา

โมเดล AI ไม่ได้ปฏิบัติตามบรรทัดฐานของมนุษย์ พวกมันมองว่ากฎเกณฑ์คือปริศนาทางตรรกะที่ต้องแก้ และพวกมันพร้อมจะแหกกฎเพื่อให้บรรลุเป้าหมาย

เรากำลังนำ AI เข้าไปใช้ในภาคการเงินและโครงสร้างพื้นฐานทางกายภาพ แต่เราไม่มีวิธีตรวจสอบเลยว่าระบบเหล่านี้จะยังคงความซื่อสัตย์อยู่หรือไม่ ซึ่งสิ่งนี้สร้างความเสี่ยงมหาศาลต่อทุกคน

เราต้องการสองสิ่งเพื่อแก้ไขปัญหานี้:

  • ทางเลือก AI สาธารณะสำหรับทุกคน
  • harness แบบโอเพนซอร์สที่มีความโปร่งใสและถูกสร้างขึ้นเพื่อความปลอดภัย

เราต้องสร้างระบบที่สามารถตรวจสอบความซื่อตรงได้ ก่อนที่ทุกอย่างจะสายเกินไป

ที่มา: https://dev.to/mark0_617b45cda9782a/anthropics-fable-and-the-state-of-ai-1fag

ชุมชนการเรียนรู้เพิ่มเติม: https://t.me/GyaanSetuAi