Вызов инструментов на основе промптов для легковесных Open Source LLM

Большие модели, такие как GPT-4, работают хорошо. Но они требуют огромных вычислительных мощностей.

Маленькие open source модели часто испытывают трудности со сложными рассуждениями. Для запуска больших моделей требуются мощные GPU.

Я исследовал способ помочь маленьким моделям использовать инструменты с помощью структурированных промптов. Это исследование называется Prompt-Driven Tool-Calling for Lightweight Open Source LLMs.

Проблема:

  • Маленьким моделям не хватает навыков рассуждения.
  • Запуск больших моделей обходится дорого.
  • Нам нужны эффективные агенты, работающие на менее мощном оборудовании.

Решение: Перестаньте заставлять модели запоминать всё подряд. Используйте промпты, чтобы превратить модель в контроллер.

Как это работает: Промпт направляет модель:

  • Понимать ваше намерение.
  • Разбивать задачи на этапы.
  • Выбирать инструмент вместо того, чтобы гадать.

Рабочий процесс состоит из следующих этапов: Вопрос пользователя $\rightarrow$ LLM $\rightarrow$ Выбор инструмента $\rightarrow$ Выполнение инструмента $\rightarrow$ Финальный ответ.

Модель использует такие инструменты, как калькулятор, чтобы получать точные факты.

Ключевые преимущества:

  • Маленькие модели действуют как интеллектуальные агенты.
  • ИИ становится более доступным.
  • Интеллект зависит от проектирования системы, а не от размера модели.

Нам следует масштабировать интеграцию инструментов, а не просто увеличивать количество параметров.

Эта работа опубликована в AIS2C2 2025.

Источник: https://www.aiscindia.co.in/wp-content/uploads/2026/06/ilovepdf_merged-4.pdf

Опциональное сообщество для обучения: https://t.me/GyaanSetuAi