Введение в Gen AI для начинающих Python-разработчиков
Большинство разработчиков пишут код, используя фиксированные правила. Вы принимаете входные данные, применяете операторы if/else или циклы и возвращаете предсказуемый результат. Это работает для структурированных данных, таких как JSON или CSV.
Но как быть с неструктурированными задачами?
- Резюмирование 100 тикетов службы поддержки.
- Преобразование списка функций в электронное письмо.
- Сравнение плюсов и минусов на основе постов в блогах.
Можно использовать regex или сложные шаблоны, но это ненадежно. Генеративный ИИ легко справляется с такой неопределенной работой.
Как это работает
Генеративная модель следует одному простому циклу:
- Она анализирует ваш промпт и предыдущий текст.
- Она предсказывает следующий небольшой фрагмент текста.
- Она добавляет этот фрагмент к тексту.
- Она повторяет это до тех пор, пока задача не будет выполнена.
Большие языковые модели (LLM) используют архитектуру под названием transformer. Вместо того чтобы читать слева направо, модель анализирует все части вашего ввода одновременно. Она определяет, какие слова наиболее важны для следующего предсказания.
Для Python-разработчиков важны две вещи: токены и контекстные окна.
Токены
Модели не читают «сырые» строки. Они разбивают текст на токены. Токен — это небольшой фрагмент слова. При расчете стоимости и лимитов API используются токены, а не символы.
Контекстное окно
Это объем текста, который модель видит за один раз. Он включает ваш промпт, историю чата и ответ модели. Если вы превысите этот лимит, модель «забудет» самые старые части разговора.
Переход от промптов к агентам
Отправка одного промпта модели — это только начало. Вы можете резюмировать текст или объяснять ошибки. Однако у базовой LLM есть ограничения:
- Она не может обращаться к вашим базам данных или API.
- Она не запоминает информацию между запросами.
- Она может выдумывать факты.
Чтобы создавать реальные продукты, вам нужны агенты. Агент добавляет к LLM три вещи:
- Инструменты (Tools): функции вроде поиска в интернете или калькулятора.
- Память (Memory): хранилище для прошлых диалогов и пользовательских данных.
- Оркестрация (Orchestration): логика, определяющая, какой инструмент использовать и когда остановиться.
Обычная LLM дает один ответ. Агент получает цель и использует инструменты и память для достижения надежного результата.
Optional learning community: https://t.me/GyaanSetuAi