Новый алгоритм анимации лица


В то время как распознавание лиц привлекает все внимание, группа исследователей Microsoft рассматривает лицо с другой точки зрения – анимации.

С 52 мышцами, управляющими объектом, который мы должны распознавать в мельчайших деталях, создание анимированного лица-сложная проблема. Либо техника получает слишком мало деталей, либо просто анимирует детали с высоким разрешением недостаточно, чтобы быть реалистичными. Теперь у нас есть метод создания 3D-сеток с очень высоким разрешением, которые управляются захватом движения с более низким разрешением для получения высококачественной анимации выражения лица.

Подход, принятый командой, возглавляемой Синь Тонг (Microsoft Research Asia) и Джинксланг Чай (Texas A&M University) , прост в теории, но сложен на практике, но ему удается получить высококачественную анимацию, которая включает в себя более тонкое подмигивание и поведение кожи. Там методы будут представлены на предстоящем SIGGRAPH 2011, и вы можете прочитать полный текст статьи по ссылке ниже, но по существу это зависит от использования захвата движения для создания анимированной 3D-структуры с низким разрешением, которая затем может быть объединена с относительно небольшим количеством 3D-сканирований с более высоким разрешением для создания анимированной сетки с высоким разрешением.

Первые три актера были использованы с захватом движения лица в 100 точках. Актеры прошли через серию заданных выражений лица, чтобы определить, как движется лицо при переходе между ними.

Затем лазерный сканер с высоким разрешением захватил гораздо более тонкую 3D-модель лиц, которые были выровнены с соответствующими кадрами движения с более низким разрешением, используя новый алгоритм регистрации.  3D-модели с высоким разрешением запечатлели мелкие детали, такие как морщины, которые отсутствовали в сетках захвата движения курса 100 точек. Во-первых, две сетки были сопоставлены, используя только жесткое преобразование. Это помещает сетку с высоким разрешением в положение, указанное маркерами движения, но без учета относительного перемещения между маркерами из – за того, что лицо эластично растягивается и сморщивается во время движения. Следующий шаг сегментирует лицо и перемещает области независимо друг от друга, чтобы получить лучшее соответствие, улучшая положение 3D-кадра с высоким разрешением, как указано маркерами движения. 

Регистрация сетки с низким и высоким разрешением.

Результатом всей этой работы является набор 3D-сеток с очень высоким разрешением, которые не только воплощают грубые движения, захваченные 100-точечным захватом движения, но и более тонкие движения, которые подразумеваются более масштабными движениями.  Однако проблема еще не решена, потому что у нас есть только данные о движении для 100 точек маркера. Для анимации более тонкой сетки промежуточные точки между маркерами идентифицируются в разных сканированиях как одна и та же черта лица. Это достигается путем разбиения грани на области и выполнения сопоставления внутри каждой области.

Готовый продукт представляет собой набор снимков выражений лица с очень высоким разрешением, которые могут быть преобразованы друг в друга с помощью алгоритма blendshape. По сути, все, что было достигнуто, – это способ создания захвата движения лица с высоким разрешением без необходимости наклеивать сотни или тысячи маркерных точек на лицо актеров-что почти невозможно.  Следующий шаг-выяснить, можно ли достичь такого же качества, используя еще меньше маркеров захвата движения.


Добавить комментарий