Выпуск Wan-Streamer v0.2: двусторонняя генерация аудио и видео для взаимодействия в реальном времени

Команда Alibaba Wan Team представила Wan-Streamer v0.2 — мультимодальную модель для двустороннего аудиовизуального взаимодействия в реальном времени. В основе системы лежит единый авторегрессионный Transformer, который обрабатывает текст, звук и видео в рамках нативной потоковой архитектуры, заменяя собой каскадные пайплайны из модулей распознавания речи, языкового понимания и генерации анимации.

Ключевым изменением версии 0.2 стало повышение разрешения видеопотока до 640×368 при частоте 25 FPS, при этом задержка обработки на стороне модели сохранилась на уровне 200 миллисекунд. Баланс между скоростью реакции и качеством картинки достигается за счет архитектуры Thinker-Performer, где первый узел отвечает за быстрое обновление состояний, а второй берет на себя ресурсоемкую генерацию визуальных данных через контекстно-параллельную обработку на нескольких GPU.

Возросшая детализация выводит генерацию за пределы крупных планов. В процессе общения система обеспечивает стабильную отрисовку мимики, направления взгляда, жестикуляции рук и положения тела, что означает переход к моделированию полноценных пространственных диалогов на средних планах при сохранении общей сетевой задержки отклика в пределах 550 миллисекунд.