Max Home IndustryВ мире больше камер, и больше людей постоянно фотографируют, чем когда-либо прежде. Более того, мы все склонны делать одни и те же снимки, когда находимся рядом с чем-то «туристическим». Новая техника может объединить эти фотографии, полученные с помощью краудсорсинга, в одно изображение, захватив множество точек зрения.
Название этого исследования Ноа Снейвли и его команды из Корнеллского технологического института — «Краудсэмплинг пленоптической функции», и это название вряд ли вызовет интерес у человека с улицы — «пленум что?» Реальность гораздо интереснее, чем кажется, и она иллюстрирует, насколько изменился мир, в котором мы живем. Вы говорите о больших данных, но вот они — большие данные в виде краудсорсинговой фотографии, которую мы все сделали.
Я не могу выразить это лучше, чем абстрактно:
«Многие популярные туристические достопримечательности запечатлены на множестве общедоступных фотографий в Интернете. Эти фотографии представляют собой разреженную и неструктурированную выборку пленоптической функции для конкретной сцены. В этой статье мы представляем новый подход к синтезу новых представлений при изменяющемся во времени освещении на основе таких данных.»
Вы можете почти догадаться, что они сделали дальше. Они собрали большую выборку, примерно 50 тысяч фотографий, с Flickr для целого ряда туристических объектов. Затем они определили точки обзора (красные точки) для каждой фотографии:
Что только доказывает, что мы действительно все делаем одну и ту же фотографию — в будущем покупаем открытку?
На самом деле существует достаточно вариабельности в пространстве и времени, что фотографии были сделаны, чтобы попытаться восстановить пленоптическую функцию. Это просто график цвета каждой точки x,y, как видно из положения u,v в момент времени t. Если у вас есть пленоптическая функция или, более практически, приближение к ней, вы можете создать вид из любой позиции в любое время.
Детали сложны, но то, что происходит дальше, заключается в том, что нейронная сеть учится извлекать пленоптические срезы из фотографий. Из этого вы можете сделать несколько интересных вещей. В частности, вы можете показать, как выглядит сцена с разных точек зрения — плавно переходя от одной к другой. Вы также можете организовать плавное изменение того, как выглядит сцена в разное время.
Посмотрите видео, чтобы увидеть его в действии (и не пропустите тот момент в начале, когда исследователи машут вам):
Если вы посетите сайт эксперимента, вы можете увидеть множество примеров реконструкции визуальных сцен из краудсорсинговых фотографий. Я должен признать, что, хотя я впечатлен и заинтригован, я не могу придумать серьезного приложения. Возможно, художественное/творческое, но не совсем «обязательное» приложение. Может быть, я просто не думаю о правильных вещах?