Открытые модели Xiaomi MiMo V2.5: окно контекста 1M токенов и поддержка мультимодальности

Xiaomi выложила в опенсорс веса новой линейки моделей MiMo V2.5. Доступны две версии на базе архитектуры Mixture-of-Experts. Флагманская Pro содержит 1.02 триллиона параметров, из которых 42B активных. Младшая версия включает 310 миллиардов параметров с 15B активных. Обе модели поддерживают окно контекста на один миллион токенов.

Модель на 310B параметров работает как полноценная мультимодальная система. Она нативно обрабатывает текст, визуальные данные, аудио и видео. Вместе с инструктивными моделями разработчики открыли доступ к базовым чекпоинтам Base. Их можно использовать для файнтюнинга под собственные задачи.

Вся коллекция весов MiMo V2.5 доступна для загрузки на Hugging Face. Проект распространяется по свободной лицензии MIT. Это позволяет использовать модели в коммерческих приложениях без юридических ограничений.