3D-нейронная анимация лица в реальном времени из бинокулярного вида

Мы представляем метод выполнения лицевой анимации 3D-аватара в режиме реального времени из бинокулярного видео. Существующие методы лицевой анимации не способны автоматически фиксировать точные и тонкие движения лица для создания фотореалистичного трехмерного аватара «в дикой природе» (т. е. изменчивость освещения, шум камеры). Новизна нашего подхода заключается в легком процессе адаптации персонализированной модели лица к новым средам, что обеспечивает чрезвычайно точное отслеживание лица в реальном времени в любом месте. В нашем методе используется предварительно обученная персонализированная модель лица с высокой точностью, которую мы дополняем новой моделью освещения для учета изменений, связанных с освещением и другими факторами, часто встречающимися в дикой природе (например, рост волос на лице, макияж, кожа). пятна). Наш подход состоит из двух шагов. Во-первых, мы находим решение для нашей модели освещения. s путем применения анализа за синтезом к короткой видеозаписи. Используя пары параметров модели (жесткая, нежесткая) и исходные изображения, мы изучаем регрессию для вывода в реальном времени из пространства изображения в трехмерную форму и текстуру аватара. Во-вторых, учитывая новое видео, мы точно настраиваем регрессионную модель в реальном времени с помощью стратегии обучения в несколько этапов, чтобы адаптировать регрессионную модель к новой среде. Мы демонстрируем способность нашей системы точно фиксировать тонкие движения лица в неограниченных сценариях по...