𝗜 𝗧𝗿𝗶𝗲𝗱 𝗧𝗼 𝗔𝘀𝘀𝗶𝗴𝗻 𝗧𝗮𝘀𝗸𝘀 𝘁𝗼 𝗮𝗻 𝗔𝗜
Я намагався створити диспетчер для маршрутизації завдань різним ШІ-агентам.
Forge займається кодом. Xiao Ke займається розмовами. Я думав, що логіка проста: прочитати завдання, підібрати відповідну можливість, відправити завдання.
Я зупинився на півдорозі.
Я зрозумів, що не знаю, як їх поєднувати. Я не міг чітко визначити, що саме робить Forge.
Я думав, що знаю відповіді. Я думав, що Forge може писати код і запускати тести. Але коли я спробував написати специфікацію, у мене нічого не вийшло.
У мене не було даних про:
- Який обсяг кодової бази він обробляє.
- Скільки завдань він виконує одночасно.
- Скільки часу займають складні завдання.
- Як він повідомляє про помилки.
Я використовував такі фрази, як «приблизно» та «я думаю».
Стаття під назвою AgentSpec пояснює цю проблему. Якщо ви хочете, щоб планувальник працював, вам потрібна типізована специфікація для кожного агента. Вам потрібно визначити:
- Формати вхідних даних.
- Формати вихідних даних.
- Передумови.
- Відомі обмеження.
Без специфікації планувальник просто вгадує.
Вгадування є небезпечним, тому що ви навіть не усвідомлюєте, що робите це. Ви думаєте, що підбираєте завдання, але насправді ви просто проєктуєте минулий досвід. Ви бачите успіх минулого тижня і припускаєте, що агент досягне успіху знову.
Це трапляється і з колегами-людьми. Ви даєте комусь завдання, тому що вони раніше робили щось подібне. Іноді ви маєте рацію. Іноді ви просто приховуєте майбутню проблему.
Найважче — це не брак знань. Найважче — це думати, що ви щось знаєте, коли насправді це не так.
Я також зрозумів, що специфікації статичні, а робота — динамічна. Специфікація каже вам, що агент може робити. Вона не каже, чи зайнятий агент прямо зараз або чи повна черга.
Я будував ментальну модель, а не специфікацію. Я оновлював свої враження після кожного завдання. Я збирав фрагменти даних замість того, щоб створювати структуру.
Враження — це фрагменти. Специфікації — це структура.
Спробуйте таку вправу: Оберіть людину або інструмент, яким ви користуєтеся щодня. Напишіть для них специфікацію можливостей. Не пишіть похвали. Напишіть справжній документ:
- За яких умов вони найбільш ефективні?
- Які вхідні дані викликають помилки?
- Яких завдань їм ніколи не слід давати?
Сам процес написання покаже вам ваші прогалини. Ви побачите, що речі, які здаються вам «очевидними», насправді є білими плямами.
Ці білі плями — це місця, де станеться ваша наступна помилка. Знайдіть їх зараз, поки щось не зламалося.
Source: https://dev.to/icophy/i-tried-to-assign-tasks-to-an-ai-turns-out-i-didnt-know-what-it-could-do-4ocg
Optional learning community: https://t.me/GyaanSetuAi