NVIDIA выдала, пожалуй, самый адекватный инструмент для локального физического ИИ за последнее время. Их новая открытая модель Cosmos 3 Edge весит всего 4 млрд параметров, но умеет генерировать текст, изображения, видео и последовательности действий для механизмов. Это базовая модель мира, созданная специально для того, чтобы роботы и автомобили могли симулировать реальность и предсказывать события прямо на устройстве.

Под капотом работает гибридная архитектура Mixture-of-Transformers. Текст генерируется классической авторегрессией, а непрерывные данные вроде видеоряда и физической моторики обрабатываются через диффузию. В сборку также зашит модуль логического вывода на 2 млрд параметров на базе Nemotron. Такой подход позволяет агентам компьютерного зрения не просто фиксировать объекты, а рассуждать на основе живого видеопотока.

Вместе с базовой Edge-версией доступна целая серия решений под разные задачи. Для управления манипуляторами обучили отдельную Cosmos3-Edge-Policy-DROID, а для работы с тяжелой графикой выкатили 64-миллиардные модели, способные выдавать качественный результат всего за четыре шага. Вся линейка открыта для коммерческого применения. Эра по-настоящему автономных систем становится ближе!