ByteDance тренирует модель на 10 трлн параметров, чтобы обогнать Anthropic

ByteDance, материнская компания TikTok, разрабатывает одну из самых крупных ИИ-моделей в мире. По данным трёх источников Financial Times, знакомых с ситуацией, модель может насчитывать до 10 трлн параметров.

Что именно происходит

Модель сейчас находится на стадии пре-тренинга - это самый ранний и длительный этап, который обычно занимает от трёх до шести месяцев. После него идут файн-тюнинг и (если всё пойдёт хорошо) публичный релиз. Точный размер модели, уточняет один из источников, будет окончательно определён позже.

ByteAnce не ответила на запрос журналистов Ars Technica.

Насколько это большая модель

Для сравнения: Kimi K3 от китайской Moonshot - нынешний рекорд среди опубликованных китайских моделей. Модель ByteDance будет втрое крупнее.

Anthropic не раскрывает размеры своих систем, но отраслевые оценки говорят о следующем:

• Mythos 5 (наиболее продвинутая модель Anthropic) - около 8 трлн параметров
• Fable 5 - около 5 трлн параметров

При этом параметры задают ёмкость модели, но реальные способности зависят ещё и от качества данных и методов обучения.

Контекст: китайские лаборатории сокращают разрыв

За последние недели модели от Moonshot и Alibaba показали сильные результаты на бенчмарках, отставая от Anthropic Fable 5 лишь в отдельных задачах. При этом Mythos 5 - самая мощная система Anthropic - доступна только одобренным организациям: с июня на неё действует временный запрет из-за соображений безопасности.

По словам отраслевых инсайдеров, несколько китайских лабораторий сейчас обучают модели масштаба Fable 5. ByteDance при этом ставит самые амбициозные цели.

Кто стоит за разработкой

Командой разработки моделей - Seed - руководит У Юнхуэй (Wu Yonghui), бывший учёный Google DeepMind. В команде около 2000 человек в Китае и за рубежом: исследователи, инфраструктурные инженеры, специалисты по разметке данных и переводчики.

ByteAnce в целом инвестировала в ИИ агрессивнее любого другого китайского техгиганта за последние три года: строила дата-центры, нанимала исследователей, активно развивала облачное подразделение Volcano Engine (продаёт ИИ-решения бизнесу). Компания также работает над собственными ИИ-чипами.

При этом ByteDance держалась в тени: большинство её моделей закрытые, в отличие от многих китайских конкурентов. Исключения - SeeDance (видеогенерация, входит в число лучших в мире) и Doubao (потребительский чат-бот, 324 млн активных пользователей в месяц в Китае).

Принцип «без дистилляции»

Важная деталь: ByteDance принципиально не использует дистилляцию чужих моделей. Такой подход действует уже больше года.

Для справки: дистилляция - это когда меньшую модель обучают копировать знания и выходы большой модели-«учителя». Многие лаборатории используют этот приём для ускорения разработки.

По словам источников, отказ от дистилляции замедлил ByteDance относительно конкурентов. Основатель компании Чжан Имин (Zhang Yiming) считает иначе: только независимая разработка позволит создать модель, которая обгонит всех остальных.

Два недели назад, на внутренней встрече с командой Seed, Чжан повторил эту позицию - по словам источника, он призвал команду ориентироваться на «ведущие в мире возможности» в долгосрочной перспективе и не переживать из-за временного отставания. Об этих словах первыми сообщили китайское издание Latepost и The Information.

Что это значит

Если ByteDance действительно выпустит модель на 10 трлн параметров, она станет публично известной крупнейшей в мире - и впервые китайская лаборатория окажется впереди американских по масштабу. Пока это гипотетический сценарий: пре-тренинг ещё идёт, параметры финальной модели уточнят позже, а до релиза ещё несколько месяцев минимум.

Для тех, кто использует ИИ в работе: за ByteDance стоит следить не только из-за этой модели. Doubao уже доступен, SeeDance - в числе реально сильных инструментов для видео. Если новая модель выйдет открытой (пусть и частично) - это существенно расширит доступный инструментарий, в том числе без привязки к американским сервисам.

Источник: Ars Technica / Financial Times, 7 августа 2026