Meituan выпустила LongCat-2.0: MoE-модель на 1,6 трлн параметров с контекстом 1 млн токенов

Китайская компания Meituan (сервис доставки еды и суперапп) опубликовала LongCat-2.0 - крупную языковую модель класса MoE, заточенную под агентное программирование. Вот что внутри и как это работает.

Что такое LongCat-2.0 и зачем она нужна

LongCat-2.0 - следующее поколение после LongCat-Flash (560B параметров, 2025 год). Общее число параметров - 1,6 трлн, но на каждый токен активируется лишь около 48 млрд (динамический диапазон - 33-56 млрд). Это стандартный трюк MoE-архитектур: держим большую модель, запускаем только нужную часть.

Целевой сценарий - агентные задачи разработки: понимание кода, генерация, исполнение внутри агентных пайплайнов. Не чат-бот, не универсальный помощник.

Четыре архитектурных решения

Zero-computation experts. Простые токены (пунктуация, артикли) уходят к «нулевому эксперту» и возвращаются без вычислений. Сложные токены получают больше мощности. PID-контроллер балансирует нагрузку между экспертами - отсюда и динамический диапазон активации вместо фиксированной стоимости.

LongCat Sparse Attention (LSA). Стандартный attention масштабируется квадратично с ростом контекста. LSA выбирает только релевантные токены, снижая сложность ближе к линейной. Meituan описывает его как развитие DeepSeek Sparse Attention. Три уровня индексации работают совместно: Streaming-aware (фрагментированные чтения памяти в непрерывные блоки), Cross-Layer (переиспользование saliency между соседними слоями), Hierarchical (двухэтапная фильтрация от грубого к точному). Именно LSA обеспечивает нативный контекст в 1 млн токенов без упирания в лимиты памяти.

N-gram Embedding. Отдельный модуль на 135 млрд параметров, ортогональный основным экспертам. Захватывает плотные локальные связи между токенами и снижает нагрузку на память при декодировании больших батчей.

MOPD (постобучение). Специализированный пайплайн объединяет три группы учителей - Agent, Reasoning, Interaction - в одну модель.

Для инференса используется 6D-параллелизм, разделённая prefill-decode архитектура, «суперкерналы» и предзагрузка весов в L2-кэш.

Обучение: 35 трлн токенов без Nvidia

Предобучение прошло на более чем 35 трлн токенов и заняло миллионы часов на ускорителях. Весь стек - обучение и инференс - работал на собственном кластере из 50 000 карт отечественных AI ASIC. Nvidia-железа нет.

Meituan утверждает, что за весь прогон не было ни одного роллбэка или невосстановимого loss spike. Для не-Nvidia железа, где инфраструктура менее зрелая, это значимое заявление - хотя независимых подтверждений пока нет.

Бенчмарки (данные самой Meituan)

Все цифры ниже - из собственного тестирования Meituan, независимого подтверждения на внешних лидербордах пока нет.

• SWE-bench Pro - 59,5 (Meituan заявляет, что это выше GPT-5.5 с показателем 58,6)
• Terminal-Bench 2.1 - 70,8
• SWE-bench Multilingual - 77,3

По общим агентным бенчмаркам (FORTE, BrowseComp) модель, по данным источника, уступает ведущим фронтирным системам. Сильная сторона сконцентрирована в software engineering.

Для каких задач это реально работает

Meituan называет четыре рабочих паттерна:

• Отладка по всему репозиторию. Загрузи весь средний кодовый репозиторий в 1M-окно и попроси отследить баг через десятки файлов сразу - без суммаризации и потери контекста.
• Многошаговые терминальные задачи. Запускай модель в агентном цикле с доступом к шеллу: выполняет команды, читает ошибки, ретраит до прохождения тестов.
• Рефакторинг на уровне репозитория. Изменения, затрагивающие несколько модулей и тестов, с единой картиной контекста.
• Миграция между языками. Перенос логики между ЯП с сохранением поведения.

Всё это запускается в стандартных агентных харнессах - своего тулинга строить не нужно.

Доступ и цены

Модель доступна через LongCat API Platform - поддерживаются OpenAI-совместимые и Anthropic-совместимые эндпойнты. Также есть интеграция с OpenRouter, а сам агентный стек работает в Claude Code, OpenClaw, OpenCode, Codex.

ID модели в OpenAI-совместимом эндпойнте - LongCat-2.0. Максимальная длина вывода - 131 072 токена (128K).

Цены по данным третьих сторон (могут измениться):

• Базовые: $0,75/млн входных токенов, $2,95/млн выходных
• Промо-запуск: $0,30/млн входных, $1,20/млн выходных, кэшированный контекст - бесплатно

Веса для локального деплоя пока не опубликованы.

Что это значит

Если ты работаешь с большими кодовыми базами и тебя душат лимиты контекста у других моделей - LongCat-2.0 стоит попробовать уже сейчас через API. Нативный 1M-контекст без хаков на суммаризацию - это конкретная польза для задач типа «разберись, почему тут всё сломалось».

При этом важно держать в голове: все бенчмарки - от самого Meituan. Независимых результатов на момент публикации нет. Промо-цены временные, веса для self-hosting не вышли.

Источник: MarkTechPost, 5 июля 2025 - https://www.marktechpost.com/2026/07/05/meituan-releases-longcat-2-0-a-1-6t-parameter-open-moe-model-with-native-1m-context-and-longcat-sparse-attention/