Генерация 3D-аватаров с физикой волос: почему гауссианы не спасают от зловещей долины

Считается, что перенос человека в 3D по одной фотографии — вопрос решенный, особенно с активным развитием Gaussian Splatting. Технология действительно позволяет быстро получать плотные репрезентации сцен, но при анимации людей результат часто вызывает отторжение. Исследователи из Сианьского университета представили проект CompHairHead, который пытается исправить неестественное поведение причесок. Они предложили логичный шаг: разделять голову на независимые компоненты лица и волос, чтобы обрабатывать их разными методами.

Подход выглядит обоснованно с инженерной точки зрения. Лицо привязывается к параметрической сетке FLAME для передачи мимики, а волосы изолируются с помощью семантической сегментации и помещаются в специальную структуру. Для симуляции физики прически используется метод Position-Based Dynamics, который просчитывает гравитацию, инерцию и движения головы. Технически это решает проблему слипшейся геометрии, из-за которой в других моделях волосы деформировались вместе со скулами или шеей.

Правда, на практике академические достижения разбиваются о визуальное восприятие. Несмотря на честную физику и сложные алгоритмы разделения, итоговые аватары выглядят откровенно жутко, попадая в самый центр зловещей долины. Виртуальные примерочные одежды сейчас работают хорошо именно потому, что полагаются на 2D-генерацию и не лезут в пространственные вычисления. Попытка перенести примерку причесок в полноценное 3D с гауссианами дает результат, пригодный для презентации на конференции, но пока слишком сырой для интеграции в потребительские продукты.