Apple ведет переговоры со стартапом PrismML о локальном запуске больших ИИ-моделей на iPhone

Компания Apple провела переговоры со стартапом PrismML по использованию его технологии для локальной работы больших моделей искусственного интеллекта на iPhone. Стартап утверждает, что уже запустил на iPhone 17 Pro модель Qwen 3.6 с 27 миллиардами параметров, сжав ее примерно с 54 гигабайт до менее чем 4 гигабайт. При этом все 27 миллиардов параметров остаются активными во время работы — по заявлению PrismML, модель способна локально выполнять задачи по рассуждению, программированию и управлению ИИ-агентами.

Для сравнения, самая мощная локальная модель Apple AFM 3 Core Advanced имеет 20 миллиардов параметров, но использует разреженную архитектуру и в зависимости от запроса активирует от 1 до 4 миллиардов. По данным Apple, она обеспечивает более выразительные голоса Siri и точное общесистемное диктование.

PrismML разрабатывает модели с однобитной структурой, которая существенно уменьшает требования к памяти и вычислениям. Ранее стартап продемонстрировал собственную модель Bonsai 8B объемом 1,15 гигабайта, работавшую на iPhone 17 Pro со скоростью около 40 токенов в секунду.

При этом количество активных параметров само по себе не доказывает, что Qwen 3.6 превосходит модель Apple по качеству или скорости. Независимых результатов тестирования этой версии пока нет, а Apple и PrismML не объявляли о сделке или планах добавить технологию в будущие iPhone.

Если Apple удастся запускать более сложные модели на смартфонах, больше функций Apple Intelligence смогут работать без подключения к серверам Private Cloud Compute. Это снизит задержку и расходы на облачные вычисления, а также позволит обрабатывать больше пользовательских данных локально, что повысит конфиденциальность и скорость работы ИИ-функций на устройствах Apple.