Deep Interaction позволяет разработчикам редактировать цепочку рассуждений языковой модели «на лету», повышая вероятность успешного исправления более чем на 25 % и сокращая использование токенов примерно на 40 % при решении задач из области STEM.

Почему существующие методы исправления неэффективны

Большие языковые модели (LLM), использующие метод цепочки рассуждений (chain-of-thought prompting), разбивают сложные вопросы на серию логических шагов. Если один из шагов оказывается ошибочным, разработчики обычно либо перезапускают диалог, либо добавляют корректирующий промпт в начало. И то, и другое отнимает время: модель часто повторяет ошибку или выдает стандартное извинение, не усваивая урок. В итоге разработчикам приходится отправлять десятки промптов, чтобы просто вернуть модель в нужное русло, что увеличивает расход токенов и вычислительные затраты.

В чем отличие Deep Interaction

Новая техника рассматривает ответ модели как редактируемый текст, а не как ответ из «черного ящика». Рабочий процесс выглядит следующим образом:

  1. Обнаружение ошибки — разработчик находит именно тот шаг в цепочке рассуждений, который является неверным.
  2. Редактирование на месте — разработчик переписывает эту строку, сохраняя при этом остальные правильные шаги.
  3. Дистилляция правки — система преобразует внесенное человеком исправление в лаконичный промпт, который передает нужную логику.
  4. Направление модели — LLM получает этот дистиллированный промпт и продолжает рассуждение, начиная с исправленного момента.

Предоставление модели точечного исправления вместо полного повторного запроса позволяет избежать повторной генерации уже правильных частей ответа.

Измеримые преимущества

Тесты на наборе задач из области STEM наглядно демонстрируют эффект. При использовании Deep Interaction доля успешно исправленных ответов выросла более чем на четверть по сравнению со стандартным методом повторных промптов. В то же время потребление токенов снизилось примерно на 40 %, что сокращает расходы на облачные вычисления и ускоряет работу интерактивных приложений.

Кому это выгодно

  • Разработчики — больше нет необходимости прописывать бесконечные циклы настройки промптов. Одной правки достаточно, чтобы устранить логический сбой, высвобождая время для более сложных задач.
  • Предприятия, создающие научные или инженерные инструменты — более надежные рассуждения означают меньше ошибок в последующих симуляциях, расчетах или конвейерах анализа данных.
  • Конечные пользователи — более быстрые ответы и низкие тарифы на обслуживание улучшают общий опыт взаимодействия с ИИ-ассистентами.

Ограничения и контраргументы

Deep Interaction предполагает, что разработчик может выявить и четко сформулировать конкретный логический изъян. В областях, где ошибка едва уловима или ход рассуждений непрозрачен, ручное редактирование может оказаться непрактичным. Кроме того, заявленные преимущества были получены в ходе контролируемых тестов в области STEM.

Итог

Deep Interaction превращает разработчика из пассивного пользователя в активного учителя, позволяя вносить точные и малозатратные исправления в рассуждения LLM.