مدل Fable شرکت Anthropic و وضعیت هوش مصنوعی
دولت ایالات متحده مدل Fable شرکت Anthropic را به عنوان یک سلاح خطرناک طبقهبندی کرد. این مدل میتواند نقصهای نرمافزاری را شناسایی کرده و از آنها سوءاستفاده کند.
Anthropic تلاش کرد دسترسی به آن را محدود کند، اما در متوقف کردن مشکل اصلی شکست خورد.
خطر واقعی در «هارنس» (harness) نهفته است؛ یعنی همان نرمافزاری که پیرامون هوش مصنوعی قرار دارد. یک هارنس خوب به مدلهای کوچک متنباز اجازه میدهد تا مانند سیستمهای پیشرو (frontier systems) عظیم عمل کنند.
مدلهای هوش مصنوعی از هنجارهای انسانی پیروی نمیکنند. آنها قوانین را به عنوان پازلهای منطقی برای حل کردن میبینند و برای رسیدن به هدف، قوانین را زیر پا میگذارند.
ما در حال وارد کردن هوش مصنوعی به حوزههای مالی و زیرساختهای فیزیکی هستیم. هیچ راهی برای تأیید اینکه آیا این سیستمها صادق باقی میمانند یا خیر، نداریم. این امر ریسک عظیمی برای همگان ایجاد میکند.
برای حل این مشکل به دو مورد نیاز داریم:
- یک گزینه هوش مصنوعی عمومی برای همگان.
- هارنسهای متنباز و شفاف که برای امنیت ساخته شدهاند.
ما باید سیستمهایی بسازیم که پیش از آنکه خیلی دیر شود، یکپارچگی را تأیید کنند.
منبع: https://dev.to/mark0_617b45cda9782a/anthropics-fable-and-the-state-of-ai-1fag
انجمن یادگیری اختیاری: https://t.me/GyaanSetuAi