NVIDIA выпустила Cosmos 3 Edge: 4B-модель для роботов, которая работает прямо на устройстве

20 июля 2026 NVIDIA опубликовала Cosmos 3 Edge на Hugging Face - третью и самую компактную модель в линейке Cosmos 3, предназначенную для запуска прямо на роботах, камерах и промышленных компьютерах без обращения к дата-центру.

Что такое Cosmos 3 Edge и зачем она нужна

Cosmosвые модели - это «world models»: они не просто распознают объекты, а моделируют, как среда меняется со временем. Такая модель отслеживает положение объектов, движение манипулятора, пространственные связи и может предсказать, что произойдёт после конкретного действия.

CosmosFamily уже включала Cosmos 3 Nano (16B) и Cosmos 3 Super (64B), представленные 31 мая на GTC Taipei. Edge - третий уровень, примерно в 16 раз меньше Super.

Проблема, которую решает Edge, конкретная: машины на производстве, в складах и больницах работают в условиях ограниченной памяти. Получить производительность уровня дата-центра там раньше было нельзя.

Архитектура: два трансформерных «башни», одно общее представление

Cosmosий 3 использует Mixture-of-Transformers с двумя параллельными башнями:

• Авторегрессивная башня - обрабатывает токены зрения и текста, отвечает за понимание и рассуждение. В Cosmos 3 Edge это плотный трансформер на 2B параметров, совместимый с форматом сообщений Qwen3-VL.
• Диффузионная башня - обрабатывает токены зрения, аудио и действий, отвечает за предсказание и генерацию.

Башни имеют отдельные слои нормализации и MLP, но делят слои мультимодального внимания. Именно через них язык, видео, аудио и управляющие сигналы выравниваются в единое пространство. Модель сначала рассуждает о сцене, потом генерирует вывод.

Внимание адаптируется к модальности: язык использует каузальное внимание (каждый токен смотрит на предыдущие), диффузионные токены смотрят шире - это даёт связную генерацию.

Единое представление действий для разных типов роботов

Каждый тип физической системы описывает действия по-своему. Автомобиль - через ego pose, камера - через camera motion, рука-манипулятор - через позу end effector.

Cosmosий 3 переводит всё это в общее компактное геометрическое представление: трансляция, вращение, состояние захвата. Поддерживаемые размерности из репозитория Cosmos на GitHub:

• Camera motion: 9D
• Autonomous vehicle: 9D
• Egocentric motion: 57D
• Single-arm robot: 10D
• Dual-arm robot: 20D
• Humanoid robot: 29D

Действие работает в обе стороны: модель может предсказать результат действия или вывести само действие из наблюдаемого изменения картинки.

Производительность на edge-железе

На NVIDIA Jetson Thor Cosmos 3 Edge генерирует 32 действия за один инференс при реальном времени 15 Hz и разрешении управления 640×360.

Для видеогенерации: разрешения 256p и 480p, 12-30 fps, 50-150 кадров.

Поддерживаемое железо:

• NVIDIA RTX PRO GPUs
• NVIDIA DGX
• GeForce RTX GPUs
• NVIDIA Jetson, включая новые модули Jetson T2000 и T3000

Для прототипирования NVIDIA называет GeForce RTX 3070 минимальной точкой входа.

По внутренним бенчмаркам NVIDIA модель занимает первое место на VANTAGE-Bench среди 4B-моделей. Это заявленная метрика самой компании, независимых подтверждений в источнике нет.

Cosmos 3 Edge Policy (DROID) и дообучение

Вместе с базовой моделью NVIDIA выпустила Cosmos 3 Edge Policy (DROID) - версию, дообученную на датасете DROID для задач pick-and-place (взять-и-положить). Скрипты для дообучения включены.

Дообучить под конкретный тип робота и набор сенсоров можно примерно за день, используя открытый фреймворк Cosmos. Целевое железо для дообучения - небольшой кластер H100 или NVIDIA DGX Station.

Лицензия: Linux Foundation OpenMDW-1.1.

Что это значит

Если ты работаешь с робототехникой, автономными системами или промышленным компьютерным зрением - Cosmos 3 Edge снимает одно из главных ограничений: раньше модели такого уровня требовали облака или мощного сервера рядом. Теперь это 4B-модель, которую можно запустить на Jetson или рядовой RTX-карте прямо на объекте.

Модель открытая, скрипты дообучения есть, порог входа для прототипа - RTX 3070. Это достаточно низкий барьер, чтобы попробовать без большой инфраструктуры.

FAQ

Чем Cosmos 3 Edge отличается от Nano и Super? Edge - 4B параметров, Nano - 16B, Super - 64B. Edge примерно в 16 раз меньше Super и оптимизирован под запуск прямо на устройстве без дата-центра.

Можно ли дообучить модель под свой робот? Да. NVIDIA говорит, что дообучение под конкретный тип робота и сенсоры занимает около дня с использованием открытого фреймворка Cosmos.

Где взять модель? Модель доступна на Hugging Face, релиз датирован 20 июля 2026.

Источник: MarkTechPost, Asif Razzaq, 21 июля 2026. Ссылка на статью