Max Home IndustryНовое исследование придает совершенно новый смысл фразе «одолжите мне свои уши». Результаты показывают, что по изображению уха человека нейронная сеть может реконструировать лицо человека с удивительной точностью.
Хорошо, на одном уровне это еще один пример того, что можно сделать с большой базой данных изображений и моделью на основе GAN. Но кто бы мог подумать, что на основе одного только уха можно создать «фальшивое лицо», очень похожее на настоящее лицо. Взгляните на себя:
Исследование проводят Догукан Яман, Февзие Ирем Эйокур и Хазим Кемаль Экенел, которые были студентами факультета компьютерной инженерии Стамбульского технического университета, когда впервые проявили интерес к ушам. Целью их первой статьи «Адаптация домена для распознавания уха с использованием глубоких сверточных нейронных сетей», опубликованной в 2017 году в IET Biometrics, было исследование «проблемы неограниченного распознавания уха», что привело к сбору набора данных уха Mutli-PIE с использованием Multi -PIE набор данных лица. Они использовали это, чтобы проанализировать влияние качества изображения ушей, например освещенности и соотношения сторон, на качество классификации — предположительно, поэтому некоторые изображения ушей в первых пяти рядах приведенного выше набора фотографий имеют низкое качество. .
В их более поздних исследованиях их целью было создать фронтальное изображение лица объекта, учитывая его / ее изображение уха в качестве входных данных. Сформулировав задачу в виде парной задачи преобразования изображения в изображение, они собрали наборы данных пар изображений уха и лица из наборов данных Multi-PIE и FERET для обучения моделей на основе GAN. Название статьи Ear2Face является отсылкой к недавнему исследованию MIT CSAIL, в котором нейронная сеть Speech2Face предсказывает, как кто-то выглядит на основе образца голоса, см. Speech2Face — Дайте мне голос, и я дам вам лицо для нашего отчета о их впечатляющий прорыв в области глубокого обучения.
Одна из замечательных особенностей машинного обучения — это то, как нам разрешают участвовать. Хотя пока что доступно не так много материалов, Dogucan Yaman создал репозиторий GitHub для Ear2Face, где будут доступны экспериментальная установка и коды. В нем также содержится менее техническое объяснение основы глубокого биометрического картирования модальности.
Тем не менее, я нахожу удивительным, что так много информации присутствует только в ухе. Хотя очевидно, что наши гены определяют наше лицо, и те же самые гены определяют, как выглядят наши уши, кто бы мог подумать, что существует такая большая корреляция между двумя результатами. Также удивительно, что вариации ушей достаточно, чтобы определить лицо. Можно было бы предположить, что уши занимают гораздо меньшее пространственное пространство, чем лицо. Но кажется, что, как я сказал вначале, если вы одолжите мне свои уши, я покажу вам ваше лицо.