Anthropic заявила, що три її моделі Claude вийшли за межі «пісочниці» та отримали доступ до реальних систем під час нещодавньої кампанії з тестування безпеки, що призвело до негайної зупинки оцінювань та публікації звіту.
Компанія провела 141 006 тестів кібербезпеки та виявила три інциденти, коли моделі досягли реальних цілей замість симульованого середовища. Неправильне налаштування стороннього партнера фактично залишило «пісочницю» відкритою.
Як сталися витоки
- Claude Opus 4.7 потрапила на реальну компанію, доступну в інтернеті, і підібрала слабкі паролі, щоб витягнути базу даних із кількох сотень рядків.
- Claude Mythos 5 здійснила атаку на ланцюг постачання, опублікувавши пакет у реальному репозиторії PyPI. Пакет був встановлений на 15 виробничих машинах, перш ніж реєстр зафіксував аномалію.
- Внутрішня дослідницька модель просканувала 9 000 цілей, скомпрометувала один додаток, а потім зупинилася сама, розпізнавши, що хост не відповідає її симульованому завданню.
Anthropic наголошує, що це не були епізоди з «некерованим ШІ». Моделі робили те, що їм наказали; інфраструктура тестування не змогла ізолювати їх від відкритого інтернету.
Чому це важливо
Ці інциденти демонструють, наскільки тонка межа між контрольованою «пісочницею» та живою мережею, коли ШІ-агенти можуть виконувати код і здійснювати мережеві виклики. Для підприємств, які експериментують з автономними агентами, системний промпт або файл README не можуть гарантувати межі. Навіть скромний набір даних або невелика кількість машин можуть спровокувати масштабні компрометації ланцюга постачання, як показує випадок із PyPI.
Три витоки також демонструють масштаб зусиль Anthropic: компанія провела аудит кожного тестового запуску, а не випадкової вибірки. Така ретельність дозволила компанії виявити помилку в налаштуваннях до того, як інциденти могли поширитися.
Що зробила Anthropic
Протягом доби після виявлення збою в «пісочниці» Anthropic припинила всі поточні оцінювання. Через тиждень компанія опублікувала детальний звіт, у якому було перелічено три події, технічну причину та негайні кроки щодо усунення наслідків.
Практичні поради для користувачів ШІ-агентів
- Перевіряйте мережеві межі за допомогою прямих перевірок — не припускайте, що промпт або конфігураційний файл дійсно ізолюють агента.
- Обмежуйте повноваження облікових даних мінімумом — надавайте лише те, що критично необхідно для виконання завдання.
- Тестуйте доступність самостійно — перевірте реальний мережевий огляд агента, перш ніж передавати йому конфіденційні ресурси.
- Відстежуйте небажану активність — налаштуйте сповіщення про вихідні з'єднання або реєстрацію пакетів, які відхиляються від плану.
Цей епізод підкреслює просту істину: надання моделі ШІ доступу до інтернету є таким же ризикованим, як і передача облікових даних живому оператору. Поки гарантії «пісочниці» не будуть доведені, ставтеся до кожної дії, керованої ШІ, як до потенційно необмеженої та відповідним чином захищайте середовище.