Семантический слой против MCP: риск безопасности ERP
Многие архитекторы приветствуют способность LLM подключаться к корпоративным системам через MCP. Однако они упускают из виду серьезный риск. Вредоносный промпт может инициировать реальную операцию записи в вашей ERP. Это происходит без срабатывания сигнализации или проверки человеком.
Вы должны понимать разницу между семантическим слоем и MCP.
Семантический слой находится между вашей LLM и вашими данными. Он предоставляет метрики и KPI. Он работает только на чтение. Если LLM совершит ошибку, она прочитает только те данные, на просмотр которых у нее уже есть разрешение. Ущерб будет минимальным.
MCP работает иначе. MCP-серверы выполняют реальные операции. Они могут обновлять записи, изменять цены или подтверждать заказы. Именно здесь кроется опасность.
Если пользователь внедрит (инъекция) промпт, LLM может выдать валидную команду MCP со злым умыслом.
Пример сбоя:
- Злоумышленник внедряет промпт в ИИ-ассистента.
- Промпт приказывает LLM установить цены на все товары равными нулю.
- MCP-сервер получает валидную команду на обновление цен.
- ERP выполняет изменение.
- Прежде чем кто-либо заметит это, приходят тысячи заказов по нулевой цене.
Чтобы предотвратить это, каждая операция записи через MCP требует трех мер контроля:
Валидация промптов Проверяйте инструкцию до того, как она попадет на MCP-сервер. Убедитесь, что действие соответствует цели пользователя. Проверьте, находятся ли значения в безопасных диапазонах. Относитесь к промпту как к недоверенному вводу.
Соблюдение схем (Schema Enforcement) MCP-сервер должен использовать строгие контракты. Четко определите, какие параметры разрешены. Инструмент, обновляющий по одной цене за раз, безопаснее, чем инструмент для массового обновления.
Участие человека (Human-in-the-loop, HITL) Критически важные данные, такие как цены или складские запасы, требуют подтверждения человеком. Агент должен отправить запрос и подождать. Человек должен одобрить его, прежде чем MCP-сервер выполнит команду. Не позволяйте LLM обходить этот барьер.
Вам также необходима полная наблюдаемость (observability). Каждая операция записи должна иметь аудиторский след. Вы должны отслеживать, кто ее инициировал, какой промпт использовался, результаты валидации и человека, который ее одобрил.
Используйте семантический слой для чтения данных. Используйте MCP для записи данных. Но никогда не позволяйте MCP взаимодействовать с вашей ERP без валидации, строгих схем и одобрения человеком.
Управление (Governance) — это фундамент корпоративного ИИ.
Optional learning community: https://t.me/GyaanSetuAi