GGUF-кванты для MiniMax H3: сколько качества мы теряем в погоне за локальным запуском

Принято считать, что появление квантованных версий тяжелых нейросетей автоматически делает их доступными для масс. В репозитории Comfy-Org/MiniMax-H3 за последние дни появилось множество обновлений, включая новые форматы GGUF. Сообщество активно радуется возможности запуска тяжеловесной модели генерации видео на домашних ПК. Но вопрос в том, какую реальную цену мы платим за это сжатие.

Разработчики выкатили целую россыпь форматов для FL2VA и Ref2VA, начиная от экстремально сжатых Q3_K_S на 15.6 ГБ и заканчивая более щадящими Q5_K_M на 23.9 ГБ. Дополнительно появился квант Q4_K_M для текстового энкодера Qwen3-VL-32B, который теперь весит 14.6 ГБ. Технически это означает, что минимальный рабочий комплект из трансформера, энкодера и VAE теперь можно собрать в объеме, заметно уступающем прежнему варианту с NVFP4-энкодером на 27.1 ГБ.

Правда, математику обмануть сложно. Когда вы берете 32-миллиардный текстовый энкодер и ужимаете его до четырех бит, а затем спариваете с агрессивно квантованной видеомоделью, деградация деталей неизбежна. Локальная генерация видео все еще остается территорией аппаратного брутфорса. В текущем виде такие кванты выступают скорее компромиссным решением для энтузиастов с ограниченной видеопамятью, чем полноценным инструментом для серьезных задач.