Проблема единого источника истины

Команды, работающие с корпоративным ИИ (Enterprise AI), сталкиваются с одним сложным вопросом.

«Какой ответ правильный?»

Этот вопрос исходит не от модели. Он исходит от бизнеса.

В небольших масштабах это кажется простым. В масштабах предприятия это превращается в масштабную архитектурную проблему. У большинства компаний нет единого источника истины. У них их много.

Компании используют множество систем:

  • CRM
  • ERP
  • Тикет-системы
  • Внутренние базы данных
  • Электронные таблицы
  • Платформы для документации

Каждая система хранит данные. Каждая система меняется со временем. Один и тот же клиент может числиться в трех разных местах с тремя разными статусами.

ИИ не создает эти проблемы. Он их вскрывает.

До появления ИИ с неструктурированными данными справлялись люди. Сотрудники знали, какие отчеты устарели. Они знали, каким базам данных можно доверять.

ИИ лишен этой интуиции. Когда ИИ извлекает данные из нескольких источников, он видит все версии истины одновременно.

Если одна система говорит, что клиент «Активен», а другая — что он «Заблокирован», ИИ заходит в тупик. Ни одна из систем не сломана. Проблема заключается в распределении прав владения данными (ownership).

Распространенная ошибка — думать, что больше данных улучшит ИИ. Зачастую больше данных порождает больше путаницы. Больше интеграций ведет к большему количеству дубликатов и конфликтов.

Системы поиска (retrieval systems) находят релевантные данные. Но они не находят авторитетные данные.

Вы должны решить:

  • Какая система отвечает за статус клиента?
  • Какая система отвечает за ценообразование?
  • Какая система отвечает за складские запасы?

Эти решения относятся к управлению данными (governance), а не к алгоритмам.

Чтобы исправить это, необходимо определить иерархию источников. Не все системы равны. Их нужно классифицировать:

  • Основной источник (Primary source)
  • Вторичный источник (Secondary source)
  • Резервный источник (Fallback source)

Это исключает гадание на кофейной гуще. Инфраструктура определяет истину еще до того, как модель увидит данные.

Успех корпоративного ИИ больше зависит от управления данными (governance), чем от выбора модели. Если вы не определите владельцев данных, вы столкнетесь с:

  • Противоречивыми ответами
  • Конфликтующими результатами
  • Ненадежной автоматизацией
  • Низким доверием пользователей

Если пользователи увидят, что ИИ меняет свое мнение, они перестанут им пользоваться.

Перестаньте рассматривать ИИ как проблему поиска данных. Начните рассматривать его как проблему владения данными.

Самый сложный вопрос не в том, на что должна отвечать модель. Самый сложный вопрос — что является истиной на самом деле.

Источник: https://dev.to/karan2598/the-source-of-truth-problem-every-enterprise-ai-team-faces-2m2k

Дополнительное обучающее сообщество: https://t.me/GyaanSetuAi