Qwen 3.6 27B: The Engineer's Guide to Local AI

Модель на 27B параметров только что обошла модель на 397B.

Это не просто маленькая победа. Это масштабный сдвиг для локального ИИ.

Старая модель Qwen 3.5 397B требует 807 ГБ памяти. Для её запуска нужен сервер с несколькими GPU.

Новая модель Qwen 3.6 27B весит всего 55,6 ГБ. В 8-битном формате она занимает всего 28 ГБ. Её можно запустить на одном MacBook M5 Max.

Несмотря на разницу в размерах, модель 27B побеждает в ключевых бенчмарках:

• SWE-bench Verified: 77,2% (превосходит модель 397B с результатом 76,2%) • AIME 2026: 94,1% • GPQA Diamond: 87,8% (превосходит Claude 4.5 Opus)

Почему это работает?

Архитектура использует гибридный дизайн внимания (attention). В ней используется соотношение 3:1 слоев линейного внимания к квадратичному.

  • 48 слоев используют Gated DeltaNet (линейное внимание). Это быстро и экономит память.
  • 16 слоев используют Gated Attention (квадратичное внимание). Это обеспечивает точность.

Такая структура позволяет модели обрабатывать длинные контексты без огромных вычислительных затрат, характерных для стандартных трансформеров.

Еще одна победа — Multi-Token Prediction (MTP). Эта функция позволяет модели предсказывать от 3 до 4 токенов одновременно.

На оборудовании Apple M5 Max MTP увеличивает скорость с 18 токенов в секунду до 32 токенов в секунду. Это прирост пропускной способности на 77%.

Как развернуть её локально:

Используйте llama.cpp, чтобы запустить модель на собственном оборудовании.

  1. Установите инструмент: brew install llama.cpp

  2. Запустите сервер с включенным MTP для максимальной скорости: llama-server -hf unsloth/Qwen3.6-27B-MTP-GGUF:Q8_0 --spec-type draft-mtp -ngl 999 -fa on -c 65536 --port 8080

  3. Направьте ваши существующие инструменты (например, Cursor или Python-скрипты) на http://localhost:8080/v1.

Экономика ИИ изменилась.

Использование API, таких как Claude или GPT-5, стоит денег при каждом отправленном промпте. Локальный ИИ стоит ноль за токен. Он обеспечивает 100% приватность. Он не зависит от стороннего провайдера, который может изменить свои правила или цены.

Локальный ИИ — это больше не компромисс. Это профессиональный инструмент.

Source: https://dev.to/monuminu/qwen-36-27b-how-a-27b-dense-model-beats-a-397b-giant-the-engineers-complete-local-ai-4m36

Optional learning community: https://t.me/GyaanSetuAi