POCKET-35B, языковая модель с 35 миллиардами параметров, выпущенная VIDRAFT, теперь может работать на ноутбуке, оснащенном только процессором (CPU). Веса модели в формате GGUF загружаются напрямую в llama.cpp или Ollama, поэтому команды с нулевым бюджетом на GPU могут приступить к экспериментам немедленно. В течение семи недель после запуска модель преодолела отметку в один миллион загрузок на Hugging Face, заняв 13-е место среди всех загрузок GGUF в мире.

Почему LLM только на CPU важна именно сейчас

Предприятиям, которым необходимо хранить конфиденциальные тексты — письма клиентов, внутренние тикеты, фрагменты кода — локально (on-premises), часто не хватает средств на выделенные видеокарты. До недавнего времени единственным практичным вариантом была отправка данных в облачный API, что означало потерю приватности и регулярные расходы. POCKET-35B предлагает компромисс: модель достаточно велика, чтобы обрабатывать сложные промпты, и при этом вписывается в ограничения памяти типичного офисного ноутбука или мини-ПК.

Как модель помещается на ноутбуке

  • Формат GGUF — бинарный контейнер, в котором хранятся квантованные веса.
  • Совместимость — и llama.cpp, и Ollama включают среды выполнения, которые считывают GGUF-файлы и выполняют инференс на CPU. Можно использовать интегрированный GPU для переноса нескольких слоев, но это не обязательно.
  • Проверка RAM — размер GGUF-файла является минимальным объемом оперативной памяти, который вам потребуется. Если размер файла составляет, например, несколько гигабайт, то еще до начала загрузки компьютеру потребуется как минимум столько же свободной памяти.

Шаги по запуску POCKET-35B на вашем ноутбуке

  1. Проверьте память — откройте диспетчер задач вашей системы, запишите общий объем RAM и сравните его с размером GGUF-файла, указанным на странице Hugging Face.
  2. Выберите подходящее квантование — начните с версии Q4; она обеспечивает баланс между размером и скоростью для большинства ноутбуков.
  3. Загрузите через llama.cpp или Ollama — оба инструмента могут скачивать модель напрямую с Hugging Face, автоматически выполняя проверку контрольных сумм.
  4. Проведите быструю проверку работоспособности — запустите среду выполнения с простым промптом «Hello, world», чтобы подтвердить успешную загрузку.
  5. Создайте реалистичный набор тестов (бенчмарк) — соберите 30–50 задач, отражающих вашу рабочую нагрузку (например, классификация категорий тикетов, составление черновиков ответов на письма). Пропустите их через модель и зафиксируйте задержку (latency) и качество генерации токенов.
  6. Проверьте поддержку языков — в документации POCKET-35B список языков отсутствует. Если вам нужен вьетнамский или другие языки с использованием нелатинских символов, введите несколько предложений с диакритическими знаками и посмотрите, выдает ли модель связный результат.
  7. Измерьте фактическую задержку — фиксируйте время обработки каждого промпта на вашем конкретном оборудовании; не полагайтесь на показатели бенчмарков, опубликованные другими пользователями с другими процессорами или пропускной способностью памяти.

О чем не говорят цифры загрузок

Миллион загрузок свидетельствует о сильном интересе сообщества, но не гарантирует производительность. Способность модели к рассуждению, навыки генерации кода и следование инструкциям не проходили независимый аудит. VIDRAFT не раскрыла детали архитектуры модели или источники обучающих данных, что создает информационный вакуум, делающий развертывание в промышленной эксплуатации рискованным.

Риски и контраргументы

  • Неясное качество — без опубликованных метрик оценки вы не можете быть уверены, что POCKET-35B соответствует точности других open-source альтернатив.
  • Неопределенность при использовании в продакшене — отсутствие прозрачности архитектуры затрудняет прогнозирование поведения модели при состязательных (adversarial) промптах или нестандартных входных данных.

Итог

Если вашей команде нужно протестировать LLM с 35 миллиардами параметров уже сегодня, а бюджета на GPU нет, POCKET-35B предлагает жизнеспособный и недорогой вариант для входа. Модель работает на обычном ноутбуке с использованием формата GGUF, а среды выполнения с открытым исходным кодом упрощают настройку. Однако относитесь к модели как к экспериментальной: проверьте требования к памяти, проведите бенчмаркинг на реальных задачах и подтвердите корректную работу с языками, прежде чем интегрировать её в какой-либо производственный конвейер. По мере накопления данных сообществом и раскрытия новых подробностей от VIDRAFT профиль рисков станет яснее, но на данный момент один ноутбук действительно может разместить 35B LLM, пусть и с определенными оговорками.