Видите Невидимое Движение, Слышите Тихие Звуки? Жутко?

Вычислительная фотография предоставляет всевозможные хитрые трюки, но сколько из них на самом деле полезны? В этом выступлении на TED Майкл Рубинштейн объясняет “микроскоп движения”, который, возможно, действительно полезен.

Идея использования вычислительной фотографии для создания наблюдения, очевидно, хороша – подумайте о супергерое. Вы можете сделать простое видеоизображение и с помощью обработки изображений увеличить изменения цвета, чтобы увидеть, как пульс меняет цвет лица человека. 

Переходя от увеличения цвета к увеличению движения, диапазон вещей, которые вы можете видеть, увеличивается. Вы получаете взгляд на мир, который является странным и новым – точно так же, как эффект оптического микроскопа, увеличивающего невидимый мир очень крошечного. Включите увеличитель движения на спящего ребенка, и его дыхание станет преувеличенным. Посмотрите на что-то, производящее звук, и вы увидите, как оно движется. Это забавно, но – и это немного более зловеще – вы также можете извлечь звук из движения. Таким образом, теперь у нас есть возможность узнать, что говорят люди, не устанавливая микрофоны. Все, что вам нужно сделать, это измерить движение растений или какого-либо другого объекта в той же комнате, и вы сможете услышать, что говорят люди.

 Посмотрите видео, а затем прочитайте о том, как это работает:

Исследователи из MIT CSAIL и Quanta Research Cambridge, MA применили очень фундаментальные методы обработки изображений – пространственную декомпозицию и временную фильтрацию – к стандартному видео, чтобы показать детали, которые обычно требуют дорогостоящего специального оборудования для просмотра.

Фильтр усиливает цветовые вариации, а также истинное физическое движение и может выявить особенности, которые обычно находятся ниже уровня шума видео и системы восприятия человека вместе взятых. Удивительная часть истории заключается в том, что используемые методы являются стандартными алгоритмами фильтрации, которые могли быть применены к этой проблеме много лет назад.

Если вы заинтересованы в том, чтобы попробовать это, вы можете загрузить программное обеспечение и выяснить, можете ли вы увидеть что – то, что в противном случае было бы невидимым, включая то, что люди могут говорить и не хотят, чтобы вы слышали.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *