ByteDance разрабатывает языковую модель с 10 триллионами параметров — самую большую в мире

Китайская компания ByteDance создаёт новую большую языковую модель, которая может достичь 10 триллионов параметров. Это сделает её крупнейшей не только в Китае, но и во всём мире. В настоящее время модель находится на ранней стадии обучения, которое может занять до шести месяцев.

Самые большие современные модели принадлежат Anthropic. Хотя компания не раскрывает точное количество параметров, эксперты оценивают Mythos примерно в 8 триллионов, а Fable 5 — в 5 триллионов параметров. Крупнейшая китайская модель, Kimi K3 от Moonshot, насчитывает около 3 триллионов. ByteDance планирует превзойти их всех.

Новая модель уже проходит этап предварительного обучения, после чего потребуется дополнительная доработка перед релизом. Однако количество параметров само по себе не гарантирует превосходства — многое будет зависеть от качества данных и методов обучения.

Этот проект отражает общий тренд: китайские ИИ-лаборатории активно догоняют западных конкурентов, включая Anthropic, OpenAI и Google. Другие китайские компании также работают над крупными моделями, а некоторые уже выпущенные, как Kimi K3, не уступают западным аналогам по ряду показателей.

Примечательно, что ByteDance не использует дистилляцию — метод обучения на основе готовых моделей других компаний, с чем активно борются американские разработчики. В компании считают, что только независимая разработка позволит создать по-настоящему конкурентоспособную модель. Такой подход требует огромных вычислительных ресурсов и времени, но может дать ByteDance технологическое преимущество и снизить зависимость от чужих разработок. В случае успеха новая модель может не только укрепить позиции Китая в гонке ИИ, но и изменить баланс сил на глобальном рынке, где доминируют американские компании. Однако даже при достижении заявленных параметров, успех модели будет зависеть от практической эффективности, стоимости использования и способности решать реальные задачи. ByteDance, владелец TikTok, уже имеет опыт работы с большими данными и алгоритмами, что может стать важным преимуществом в этом проекте. Результаты обучения ожидаются в ближайшие месяцы, и отрасль будет внимательно следить за развитием событий.