Открытые веса GigaChat 3.5 Ultra: 432B параметров, MoE-архитектура и обучение в FP8

Это один из самых сильных релизов в открытом ИИ за последнее время. Команда Сбера выложила веса GigaChat 3.5 Ultra — гибридной модели архитектуры Mixture-of-Experts (MoE) на 432 миллиарда параметров. По бенчмаркам она идет вровень с DeepSeek V3.2, будучи при этом в полтора раза компактнее! На Hugging Face уже опубликована полная коллекция чекпоинтов от профиля ai-sage, включая базовую версию и квантованные сборки в формате GGUF.

Впечатляет техническая реализация этого гиганта. Инженеры полностью провели обучение в формате FP8, а после классических этапов SFT и DPO внедрили новый пайплайн online RL. Такой подход позволил ощутимо подтянуть логику сети, особенно в математических задачах, генерации кода и работе в многошаговых агентных сценариях.

Отдельное внимание разработчики уделили производительности вывода. За счет добавления двух MTP-голов (Multi-Token Prediction) общую скорость генерации удалось поднять в 2,2 раза, а пропускная способность под высокой нагрузкой выросла на 20%. Это делает новую модель не просто тяжеловесным исследовательским концептом, а отлично оптимизированным инструментом под реальный продакшен.