Apple, за повідомленнями, веде попередні переговори з PrismML, стартапом за підтримки Khosla Ventures, щоб інтегрувати передову технологію стиснення моделей у свою екосистему. Цей крок має на меті перенести складний штучний інтелект безпосередньо на iPhone, долаючи розрив між обмеженнями мобільного обладнання та величезними обчислювальними вимогами сучасних великих мовних моделей (LLM).

Вирішення обмежень ШІ на пристрої

Оскільки Apple випускає iOS 18 та оновлену Siri, компанія стикається з суттєвим технічним бар'єром: високопродуктивні моделі ШІ зазвичай потребують величезної кількості пам'яті та обчислювальної потужності, що перевищує можливості стандартних смартфонів. Інтегруючи технологію PrismML, Apple прагне перенести обробку даних із хмари безпосередньо на пристрій.

Цей перехід є критично важливим для стратегічного позиціонування Apple. ШІ на пристрої зменшує затримку, знижує витрати на дорогі хмарні обчислення та підкріплює ключову обіцянку Apple щодо конфіденційності, гарантуючи, що чутливі дані користувачів залишаються на самому смартфоні. Крім того, це дозволяє ключовим функціям ШІ працювати навіть без активного інтернет-з'єднання.

Як PrismML стискає величезні моделі ШІ

PrismML, що виник на базі досліджень у Каліфорнійському технологічному інституті, використовує складний метод спрощення способу зберігання внутрішніх значень моделі. У той час як традиційні методи можуть зменшувати розрядність із 16 біт до 4 біт, PrismML йде далі, скорочуючи кожне значення до одного або трьох можливих варіантів.

Приріст ефективності є значним. PrismML нещодавно продемонструвала це, стиснувши модель Qwen від Alibaba з відкритим вихідним кодом із величезних 54 ГБ до менш ніж 4 ГБ. Таке стиснення дозволяє всім 27 мільярдам параметрів моделі працювати на iPhone 15 або новіших моделях. За словами генерального директора Babak Hassibi, ці стиснуті моделі пропонують кілька переваг у продуктивності:

  • Ефективність пам'яті: використовує до 15 разів менше пам'яті.
  • Швидкість: працює у шість-вісім разів швидше.
  • Енергоспоживання: споживає до шести разів менше енергії.

Хоча Hassibi зазначив незначне зниження продуктивності — зокрема щодо точності відтворення фактів — моделі зберігають високу майстерність у логічних міркуваннях та програмуванні.

Наслідки для ринків напівпровідників та обладнання

Потенційне впровадження такої технології стиснення таким гігантом, як Apple, може змінити ландшафт для виробників обладнання. Наразі аналітики, такі як Morgan Stanley, прогнозують, що витрати Apple на пам'ять можуть різко зрости до 2027 фінансового року для підтримки ШІ, що може призвести до підвищення цін на iPhone.

Однак, якщо технологія PrismML стане стандартом, попит на масивні модулі пам'яті в смартфонах може зменшитися, навіть попри зростання потреби у високошвидкісній та ефективній локальній обробці. Оскільки PrismML рухається в напрямку стиснення інших великих моделей, таких як Google Gemma, мета залишається чіткою: зробити високорівневий інтелект локальним, швидким і доступним на споживчому обладнанні.

Ключові висновки

  • Масштабне стиснення: PrismML може стиснути модель ШІ розміром 54 ГБ до менш ніж 4 ГБ, що робить її придатною для флагманських смартфонів, таких як iPhone 15.
  • Приріст ефективності: технологія обіцяє використання до 15 разів менше пам'яті та споживання на 6 разів менше енергії, що є життєво важливим для підтримки заряду батареї під час виконання завдань ШІ.
  • Конфіденційність і швидкість: перенесення ШІ з хмари на пристрій зменшить затримку та підвищить конфіденційність користувачів, що є наріжним каменем філософії продуктів Apple.

Ризики та відкриті питання

Результати PrismML є багатообіцяючими, але вони все ще перебувають на ранній стадії.

За чим стежити далі

  • Офіційне підтвердження: Apple не оголошувала про партнерство, тому будь-який пресреліз або примітки до бета-версії iOS 18 щодо LLM на пристрої будуть ключовим сигналом.

Підсумок: стиснення PrismML може дозволити iPhone запускати справді великі мовні моделі без надмірного споживання пам'яті чи швидкого розряджання батареї, забезпечуючи швидший і приватніший досвід роботи з ШІ.