LLM на 180 млн параметров на чипе за 10 долларов

Новый проект под названием p-for-llm делает нечто впечатляющее. Он запускает модель с 180,9 миллионами параметров на микроконтроллере ESP32-P4. Этот чип стоит от шести до десяти долларов.

Большинство вирусных ИИ-проектов на маломощных чипах сосредоточены на простых задачах. Они демонстрируют модели, которые пишут короткие рассказы. У таких моделей зачастую очень мало параметров и нет реальной практической пользы.

p-for-llm — другой случай. Его цель — практическая полезность.

Вот как это работает:

  • Он использует архитектуру Mixture-of-Experts (MoE).
  • Для каждого токена роутер выбирает одного эксперта из 29.
  • Остальные 28 экспертов остаются неактивными.
  • Это экономит вычислительную мощность, сохраняя при этом высокий уровень знаний.
  • Для размещения модели в малом объеме памяти используются тернарные веса.
  • Модель генерирует около 9 токенов в секунду.

Процесс обучения также заслуживает внимания. Разработчик использовал одну потребительскую видеокарту RTX 5060 Ti. Здесь нет ни огромной лаборатории, ни колоссального бюджета. Только один человек, видеокарта среднего сегмента и терпение.

Есть один нюанс, о котором стоит знать. Модель пока не является полностью автономной. При запуске веса необходимо передавать на плату через USB. Это еще не самостоятельное устройство, которое загружается с SD-карты.

Это все еще не облачная демонстрация. Все вычисления происходят локально на чипе. Это огромный шаг вперед по сравнению с проектами, которые просто транслируют данные на сервер.

Почему это важно?

Маленькие модели обычно упираются в стену. Они могут быть очаровательными, но не способны следовать инструкциям. p-for-llm пытается преодолеть этот барьер. Она поддерживает промпты ChatML и демонстрирует первые признаки tool calling.

Этот проект показывает, что настоящий прогресс часто происходит тихо. Пока вирусные проекты гонятся за заголовками, серьезные разработчики публикуют свои ограничения и примечания.

Я лично протестирую это оборудование, чтобы проверить эти цифры.

Источник: https://dev.to/aiexplore369zoho/the-180m-parameter-llm-running-on-a-10-microcontroller-and-almost-nobody-noticed-4d3n

Дополнительное обучающее сообщество: https://t.me/GyaanSetuAi