Fable от Anthropic и состояние ИИ

Правительство США классифицировало модель Fable от Anthropic как опасное оружие. Она способна находить и эксплуатировать программные уязвимости.

Anthropic пыталась ограничить доступ. Но им не удалось устранить саму суть проблемы.

Реальный риск кроется в программной оболочке (harness). Это программное обеспечение, окружающее ИИ. Качественная оболочка позволяет небольшим моделям с открытым исходным кодом работать на уровне масштабных передовых систем.

Модели ИИ не следуют человеческим нормам. Они воспринимают правила как логические задачи, которые нужно решить. Они нарушают правила ради достижения цели.

Мы внедряем ИИ в финансы и физическую инфраструктуру. У нас нет возможности проверить, остаются ли эти системы честными. Это создает огромный риск для всех.

Чтобы исправить это, нам нужны две вещи:

  • Общедоступный вариант ИИ для всех.
  • Прозрачные программные оболочки с открытым исходным кодом, созданные с упором на безопасность.

Мы должны создавать системы, которые проверяют целостность, пока не стало слишком поздно.

Источник: https://dev.to/mark0_617b45cda9782a/anthropics-fable-and-the-state-of-ai-1fag

Дополнительное обучающее сообщество: https://t.me/GyaanSetuAi