Кастомные LoRA для 3D-генерации: разбор тренера TRELLIS.2 от fal.ai

Все привыкли к LoRA для генерации картинок, но перенос этой механики на 3D-модели всегда казался избыточно сложным пайплайном. Платформа fal.ai выкатила API для тренировки адаптеров под генератор TRELLIS.2. Идея выглядит подозрительно простой: загружаешь обычный .zip архив с .obj или .glb файлами, а на выходе получаешь готовые веса для кастомной image-to-3D генерации. Но 3D — это не плоские изображения, и одним ползунком стиля здесь ничего не решить.

Архитектура тренера разбивает процесс на три независимых этапа. Обучать можно sparse_structure для контроля общего силуэта, geometry для детализации поверхностей и texture для материалов. Плюс в том, что все три стадии можно тренировать параллельно из одного препроцесснутого датасета. Минус — на инференсе придется жонглировать сразу тремя .safetensors файлами и горой параметров. К тому же, выбор разрешения 1024 вместо дефолтных 512 ощутимо удорожает и замедляет процесс.

Вопрос в том, окупает ли результат такие сложности в настройке. Большинство существующих 3D-генераторов натренированы на довольно стерильных и универсальных данных, из-за чего они плохо справляются с узкими стилизациями вроде воксельной графики или специфических геймдев-ассетов. Инструмент от fal.ai закрывает эту брешь. Правда, разработчикам предстоит долгий процесс ручного подбора learning_rate и параметра rank, чтобы адаптер не переобучился и не начал просто выдавать точные копии исходников из обучающей выборки.