Что проверить перед наймом AI-разработчиков для агентной работы

Найм специалистов для агентного ИИ отличается от найма для генеративного ИИ.

Генеративный ИИ фокусируется на одиночных задачах, таких как суммаризация. Агентный ИИ фокусируется на рассуждении, использовании инструментов и исправлении собственных ошибок. Вы нанимаете не просто знатоков моделей. Вы нанимаете людей, обладающих способностью к суждению.

Агентное программное обеспечение работает циклами и принимает решения. Это меняет ваш контрольный список при найме.

Используйте этот чек-лист для проверки кандидатов или вендоров:

  • Опыт работы в продакшене. Ищите системы, которые работали с реальными пользователями. Избегайте тех, кто показывает только ноутбуки.
  • Дисциплина оценки. Они должны использовать наборы данных и метрики для тестирования результатов.
  • Контроль затрат. Агентные циклы потребляют много токенов. Хорошие разработчики отслеживают и ограничивают расходы.
  • Проектирование инструментов и API. Проверьте, как они обрабатывают вызовы функций, повторные попытки (retries) и тайм-ауты.
  • Проектирование защитных механизмов (guardrails). Они должны обеспечивать защиту от промпт-инъекций и небезопасных действий.
  • Наблюдаемость (observability). Спросите, как они отслеживают выполнение агента от начала до конца.

Разработчик, который говорит о сценариях отказов, лучше того, кто просто перечисляет названия моделей.

Эту потребность обуславливают три тренда:

  • Автоматизация стала частью основных рабочих процессов. Надежность важнее, чем демо-версии.
  • Растут потребности корпоративного сектора. Командам требуются журналы аудита и предсказуемые затраты.
  • Использование инструментов стало стандартом. Разработчикам нужна глубокая экспертиза в бэкенде, чтобы соединять API и базы данных.

Относитесь к агентам как к распределенным системам. Разработчики должны понимать, что такое очереди, хранилища состояний и идемпотентные действия. Им также необходимо знать, как управлять контекстными окнами и разбиением данных на фрагменты (chunking).

Выберите модель найма в зависимости от вашей дорожной карты:

  • Нанимайте выделенных разработчиков, если ваша дорожная карта стабильна. Это обеспечит непрерывность и более быстрые итерации.
  • Нанимайте проектные команды, если объем работ неопределен или вы хотите сначала протестировать идею.

Многие компании используют оба подхода. Они сохраняют небольшую основную команду и привлекают специалистов для краткосрочных задач.

Задайте один конкретный вопрос на интервью:

«Расскажите о случае, когда ваш агент совершил неверное действие. Как вы это обнаружили?»

Их ответ раскроет их реальный уровень мастерства.

Найм для агентного ИИ — это контроль затрат, оценка и чистая интеграция. Относитесь к агентам как к продуктовым системам, а не как к экспериментам.

Source: https://dev.to/charlieap/what-to-check-before-you-hire-ai-developers-for-agentic-work-2mm8