Automatic Prompt Engineer (APE) дозволяє мовній моделі писати, тестувати та обирати найкращий промпт для конкретного завдання, перетворюючи те, що колись було мистецтвом спроб і помилок, на повторюваний пошук на основі даних.

Чому написання промптів стало вузьким місцем

Промпт-інжиніринг — створення точного формулювання, яке вказує моделі, що робити — тривалий час був сумішшю інтуїції та везіння. Практики змінюють слово тут, замінюють фразу там, запускають модель і зупиняються, коли результат «здається правильним». Такий підхід затягується, залежить від уяви інженера та обмежує продуктивність. У промисловій експлуатації це означає довший цикл розробки, нестабільні результати та приховані витрати, які виявляються лише після запуску.

Триетапний робочий процес APE

APE розглядає створення промптів як задачу пошуку. Користувач надає невеликий набір прикладів «вхідні дані — вихідні дані». Потім система проходить три автоматизовані етапи:

  1. Propose (Запропонувати) – Модель аналізує приклади та видає пакет інструкцій-кандидатів, наприклад, «поверни протилежне» або «напиши антонім».
  2. Score (Оцінити) – Система запускає кожного кандидата на окремому наборі неперевірених прикладів і підраховує, скільки відповідей збігаються з очікуваним результатом, отримуючи показник чистої точності. Цей етап не потребує людського втручання.
  3. Select (Обрати) – Інструкція з найвищою точністю стає фінальним промптом.

Цикл можна повторювати. Промпт-переможець стає новим «зерном» (seed), і модель пропонує варіації. У звітах про запуск загальна інструкція, яка отримала 83%, була вдосконалена до версії, що досягла 100% на тестовому наборі.

Чому цей підхід сильніший за людську працю

  • Охоплення – LLM за лічені секунди генерує десятки варіантів формулювань, набагато більше, ніж людина змогла б протестувати.
  • Об'єктивність – Вибір базується на вимірюваній точності, а не на тому, наскільки вишукано звучить формулювання. Інструкція в підручниковому стилі все одно може програти стислому, дивно сформульованій варіації, яку модель розуміє краще.

Оскільки метрика оцінювання визначається користувачем — зазвичай це перевірка на точну відповідність або юніт-тест — систему можна налаштувати під будь-які подальші потреби, від генерації коду до аналізу тональності.

Ціна автоматизації

Компромісом є обчислювальні ресурси. Оцінювання кожного кандидата потребує багатьох викликів моделі, тому на етапі розробки витрачається помітна кількість API-запитів. APE розглядає ці витрати як одноразову інвестицію: як тільки оптимальний промпт знайдено, ви можете використовувати його вічно без додаткових витрат.

Впровадження також обмежують дві передумови:

  • Розмічені приклади – Системі потрібен репрезентативний набір вхідних даних та правильних відповідей.
  • Функція оцінювання – Користувачі повинні визначити, що означає «правильно» для їхнього завдання, будь то точний збіг рядків, числова толерантність або власний валідатор.

Де ідея може спіткнутися

Якщо початковий набір прикладів занадто малий або нерепрезентативний, обраний промпт може перенавчитися (overfit) і не спрацювати в реальних умовах.

Що очікувати далі

Інструмент пропонує альтернативу: надайте кілька прикладів, дозвольте моделі ітерувати та отримайте промпт, який система оцінить найвище серед усіх спроб. Демонстрація доступна за посиланням в оригінальному анонсі, а спільнота для навчання збирається в Telegram.

Підсумок: Автоматизація промпт-інжинірингу замінює здогадки вимірюваною продуктивністю, але вона потребує попередньої підготовки даних, обчислювальних ресурсів і чіткого визначення успіху.