Kinect Fusion с открытым исходным кодом – Мгновенные интерактивные 3D-модели


Kinect-это удивительное аппаратное обеспечение, но без программного обеспечения это ничто. KinectFusion-это самое захватывающее приложение Kinect на сегодняшний день. Теперь, с выпуском библиотеки Облака точек, проекта с открытым исходным кодом, мы все можем использовать этот конструктор 3D-моделей в реальном времени. Вот видео, которое объясняет, как все это работает.

Еще в августе 2011 года Microsoft продемонстрировала Kinect, используемый в качестве ручного 3D-сканера на SIGGRAPH KinectFusion.

Когда Kinect сканировался по комнате, казалось, что он “рисует” 3D-модель на манер фонарика, освещающего различные части сцены. Из демонстрации и видеозаписей было ясно, что это было быстро, а повторное сканирование улучшило точность и удалило точки шума.

Созданная 3D – модель может быть использована во всех видах творческих способов, включая виртуальную реальность и дополненную реальность. С помощью 3D-модели можно смоделировать, как другие объекты и жидкости будут двигаться внутри сцены, а затем наложить это на видео. Таким образом, вы можете бросить виртуальное ведро краски на сцену, и она будет течь в соответствии с 3D-моделью.

В целом это замечательный материал, и он дешев – для выполнения вычислений нужны только Kinect и графический процессор.

Единственная проблема заключается в том, что Microsoft не выпустила и, возможно, никогда не выпустит этот код. Хорошей новостью является то, что теперь существует реализация KinectFusion с открытым исходным кодом. Библиотека облака точек-это проект с открытым исходным кодом о 3D-обработке в целом. Платформа PCL содержит процедуры, которые реализуют фильтрацию, оценку характеристик, реконструкцию поверхности, регистрацию, подгонку модели и сегментацию. Он также имеет операции более высокого уровня, такие как отображение и распознавание объектов.

Теперь у нас есть реализация KinectFusion, основанная на научной статье, которая довольно подробно описывает алгоритм. Он все еще разрабатывается, но вы можете видеть, что он работает на видео (верхняя правая панель-это 3D-модель):

Обратите внимание, как объекты, кажется, “плавятся” и “застывают” в модели, когда они добавляются и удаляются. Все это является частью процесса усреднения, который устраняет шум.

Если вы хотите узнать, как это работает в деталях, вы можете прочитать статью Microsoft Research. Чтобы помочь вам начать работу, у нас есть видео, в котором используются выдержки из существующих видео, чтобы объяснить, как работает алгоритм слияния:

Если вы ищете захватывающую область для участия, то это именно то, что вам нужно. Возможность создавать 3D-модель в режиме реального времени и по реалистичной цене-это шаг вперед в технологии, и это позволит делать вещи, которые всего несколько месяцев назад были немыслимы. Теперь вы можете сканировать весь интерьер дома и позволить роботу использовать модель для навигации, пока он собирает данные для уточнения модели. Как говорится, “это ограничено только вашим воображением”.


Добавить комментарий