Релиз Mistral Medium 3.5: 128B параметров, контекст 256k и спекулятивное декодирование

Mistral выпустили новую открытую модель Mistral Medium 3.5. Это dense-архитектура на 128B параметров с окном контекста 256k токенов. Модель объединяет выполнение инструкций, логику и написание кода в одних весах. На Hugging Face сразу доступны оригинальные веса в формате FP8.

Размер в 128B делает модель редким явлением в своей весовой категории. Ближайшие открытые конкуренты обычно в несколько раз крупнее. Это делает новинку отличным кандидатом для локального деплоя. Чтобы генерация не была слишком медленной, разработчики выложили отдельную голову Mistral-Medium-3.5-128B-EAGLE. Она включает спекулятивное декодирование для ускорения вывода токенов.

По внутренним метрикам версия 3.5 обходит прошлые модели Mistral. До самых больших открытых сетей она пока не дотягивает. Стоимость официального API составляет $1.5 за миллион токенов на вход и $7.5 на выход. При таких тарифах использование облачной версии выглядит спорным. Основная ценность релиза заключается именно в открытых весах для самостоятельного хостинга.