Max Home IndustryКак только вы подумали, что недостаток состязательного изображения в нейронных сетях не может стать еще хуже, кто-то приходит и показывает, как создавать такие изображения в реальном мире. Да, знак остановки можно заменить знаком ограничения скорости, просто добавив несколько тщательно созданных наклеек или даже граффити. Это превращает лабораторное любопытство во что-то потенциально опасное.
Когда впервые были обнаружены состязательные изображения, это было своего рода шоком. Вы можете взять изображение и добавить несколько небольших возмущений, которые выглядят как шум, и нейронная сеть неверно классифицирует подделанное изображение, даже если оно выглядит одинаково для человека.
Из-за этого нейронные сети выглядели глупо, но недостаток кажется достаточно безобидным, поскольку возмущения не возникают в реальном мире. Вы даже можете разумно предположить, что тот факт, что они не встречаются в природе, является причиной того, что нейронные сети получают неправильный ответ, когда они присутствуют. Сеть никогда не видит таких закономерностей и поэтому не учитывает их при обучении распознаванию природных объектов.
Когда люди предположили, что состязательные изображения могут использоваться для атаки на системы зрения, очевидный ответ состоит в том, что это означало бы, что злоумышленник имел физический доступ к видеопотоку в реальном времени. Это не невозможно, но маловероятно. Однако последнее исследование Вашингтонского университета, Мичиганского университета, Университета Стоуни-Брук и Калифорнийского университета в Беркли предполагает, что мы могли расслабиться слишком рано.
Оказывается, мы можем создавать состязательные изображения, которые не похожи на шум, распространяющийся по изображению, а реализованы как локальные изменения блока изображения, в частности, распознанного объекта, которые, возможно, могут быть реализованы в виде наклеек или капель краски, подобных граффити. Возмущение ограничивается распознанным объектом, потому что, хотя нецелевые возмущения могут изменять фон в реальном мире, все, что у нас есть, что мы можем изменить, — это объект. То есть, если мы пытаемся нарушить знак «Стоп», мы можем сделать это, только добавляя капли или граффити к знаку, а не так просто на весь фон различных изображений, которые может захватывать камера.
Подход на удивление прост, настолько прост, что можно было догадаться, что он не сработает. Все, что вы делаете, это используете стандартные методы оптимизации, используемые для генерации нецелевых возмущений, но ограничиваете их распознанным объектом. Чтобы убедиться, что возмущения могут быть реализованы путем наклеивания цветных блоков или форм, похожих на граффити, оптимизация также выполняется с помощью маски, которая ограничивает ее изменением в определенных блочных или подобных граффити областях. Это небольшое упрощение, и целевая функция также изменена, чтобы получить тот результат, который мы ищем — замаскируйте граффити с использованием слов Love и Hate и маскируйте искусство двух черных и двух белых прямоугольников.
После того, как возмущения были вычислены, возмущенное изображение было распечатано и наклеено на реальный объект. Например, камуфляжное граффити со знаком «Стоп» выглядело так, как если бы к нему были добавлены слова ЛЮБОВЬ и НЕНАВИСТЬ:
Камуфляж выглядит так, как будто добавлены какие-то произвольные блоки:
В обоих случаях знак остановки был ошибочно классифицирован как знак ограничения скорости 45 миль в час в 100% случаев.
Подобный эксперимент со знаком поворота направо преобразовал его в знак «Стоп» в двух третях случаев и в знак добавленной полосы в одной трети времени.
Эксперименты были повторены, но возмущения распечатывались в виде блоков и наклеивались на настоящие знаки. Результаты были похожи.
Кажется, что техника работает и работает при разных углах обзора и масштабах. Поэтому терминология статьи «Робастные физические возмущения» кажется оправданной и может быть применена к реальному миру. Поэтому я полагаю, что беспилотные автомобили действительно находятся в опасности.
Что здесь происходит?
Это хороший вопрос, и для ответа на него, вероятно, потребуется гораздо больше исследований. Ясно, что эти возмущения не являются неестественными паттернами, на которые мы смотрели раньше. Кажется, здесь происходит то, что оптимизация использует способ работы нейронных сетей. Вы видите знак «Стоп», и вы уверены, что это знак «Стоп», потому что вы видите буквы, составляющие слово «СТОП». Вас не обманывают граффити или несколько застрявших блоков, потому что вы узнаете слово STOP и используете его как определяющую особенность знака Stop. Знак может быть очень сильно поврежден, и вы все равно будете видеть знак «Стоп», если сможете выделить слово «СТОП» из изображения.
Нейронная сеть, просто обученная распознавать дорожные знаки, которые использовались в экспериментах, не может читать. В частности, он не был обучен читать слово СТОП. Он распознает знак по набору функций, которые, как он узнает, характерны для знака «Стоп» — может быть, вертикальная полоса рядом с замкнутой буквой O. Теперь, если кто-то наклеит блок на O, чтобы он больше походил на C, и один под T, чтобы помешать обнаружению полосы, распознавание будет нарушено. Процедура оптимизации активно ищет такого рода изменения в функциях, которые выбрала сеть, и она работает.
Однако кажется, что это не то же самое явление, что универсальные враждебные образы, с которыми мы встречались раньше, а скорее результат того, что сеть недостаточно глубока и недостаточно обучена. Если бы сеть видела так много знаков «Стоп», что единственное, что у них было общего, это слово «СТОП», то, вероятно, было бы труднее нарушить работу — но это предположение.