Qwen 3.6 27B: Посібник інженера з локального ШІ

Модель на 27B щойно перевершила модель на 397B.

Це не просто маленька перемога. Це масштабний зсув для локального ШІ.

Стара модель Qwen 3.5 397B потребує 807 ГБ пам'яті. Для її запуску потрібен сервер із кількома GPU.

Нова модель Qwen 3.6 27B важить лише 55,6 ГБ. У 8-бітному форматі вона займає лише 28 ГБ. Ви можете запустити її на одному MacBook M5 Max.

Попри різницю в розмірах, модель 27B перемагає у ключових бенчмарках:

• SWE-bench Verified: 77,2% (перевершує модель 397B з результатом 76,2%) • AIME 2026: 94,1% • GPQA Diamond: 87,8% (перевершує Claude 4.5 Opus)

Чому це працює?

Архітектура використовує гібридний дизайн механізму уваги (attention). У ній застосовано співвідношення 3:1 між лінійними та квадратичними шарами уваги.

  • 48 шарів використовують Gated DeltaNet (лінійна увага). Це швидко та економить пам'ять.
  • 16 шарів використовують Gated Attention (квадратична увага). Це забезпечує точність.

Така структура дозволяє моделі обробляти довгі контексти без величезних обчислювальних витрат, характерних для стандартних трансформерів.

Ще одна перевага — Multi-Token Prediction (MTP). Ця функція дозволяє моделі передбачати від 3 до 4 токенів одночасно.

На апаратному забезпеченні Apple M5 Max MTP збільшує швидкість із 18 токенів на секунду до 32 токенів на секунду. Це підвищення пропускної здатності на 77%.

Як розгорнути її локально:

Використовуйте llama.cpp, щоб запустити модель на власному обладнанні.

  1. Встановіть інструмент: brew install llama.cpp

  2. Запустіть сервер із увімкненим MTP для максимальної швидкості: llama-server -hf unsloth/Qwen3.6-27B-MTP-GGUF:Q8_0 --spec-type draft-mtp -ngl 999 -fa on -c 65536 --port 8080

  3. Направте ваші існуючі інструменти (наприклад, Cursor або Python-скрипти) на http://localhost:8080/v1.

Економіка ШІ змінилася.

Використання API, таких як Claude або GPT-5, коштує грошей щоразу, коли ви надсилаєте запит. Локальний ШІ коштує нуль за токен. Він забезпечує 100% конфіденційність. Він не залежить від стороннього провайдера, який може змінити свої правила або ціни.

Локальний ШІ більше не є компромісом. Це професійний інструмент.

Джерело: https://dev.to/monuminu/qwen-36-27b-how-a-27b-dense-model-beats-a-397b-giant-the-engineers-complete-local-ai-4m36

Додаткова спільнота для навчання: https://t.me/GyaanSetuAi