Apple провела переговори зі стартапом PrismML щодо використання його технології для локальної роботи великих моделей ШІ на iPhone. Стартап стверджує, що вже запустив на iPhone 17 Pro модель Qwen 3.6 із 27 млрд параметрів, пише The Information.
PrismML стиснула розроблену Alibaba модель приблизно з 54 ГБ до менш ніж 4 ГБ. Водночас усі 27 млрд параметрів залишаються активними під час роботи – за твердженням стартапу, модель здатна локально виконувати завдання з міркування, програмування та керування ШІ-агентами.
Для порівняння, найпотужніша локальна модель Apple AFM 3 Core Advanced має 20 млрд параметрів, але використовує розріджену архітектуру й залежно від запиту активує лише від 1 до 4 млрд. За даними Apple, вона забезпечує виразніші голоси Siri та точніше загальносистемне диктування.
PrismML розробляє моделі з однобітною структурою, яка суттєво зменшує вимоги до пам’яті та обчислень. Раніше стартап продемонстрував власну модель Bonsai 8B обсягом 1,15 ГБ, яка працювала на iPhone 17 Pro зі швидкістю близько 40 токенів за секунду.
Водночас кількість активних параметрів сама по собі не доводить, що Qwen 3.6 перевершує модель Apple за якістю або швидкістю. Незалежних результатів тестування цієї версії поки немає, а Apple і PrismML не оголошували про угоду чи плани додати технологію до майбутніх iPhone.
Якщо Apple вдасться запускати складніші моделі безпосередньо на смартфонах, більше функцій Apple Intelligence зможуть працювати без підключення до серверів Private Cloud Compute. Це зменшить затримку й витрати на хмарні обчислення, а також дозволить обробляти більше даних користувача локально.
