Ядовитые атаки на машинное обучение

Поскольку системы ИИ становятся все более распространенными, мы должны начать беспокоиться о безопасности. Сетевое вторжение может быть тем более серьезным, если затронута нейронная сеть. Новые результаты показывают, что может быть проще, чем мы думали, предоставить данные обучающей программе, которая заставит ее усвоить неправильные вещи.

Если вам нравится ScFi, вы видели или читали сценарии, в которых робот или компьютер, всегда злобный, терпят поражение, когда вас спрашивают логическую программу, у которой нет решения, или отвлекают, когда вас просят вычислить Пи до миллиарда миллиардов цифр. Ключевая идея заключается в том, что при наличии машинного интеллекта способ победить его состоит в том, чтобы скармливать ему неверные данные.

Эксперты по безопасности называют идею взлома системы путем подачи неверных данных ядовитой атакой, и это хорошее описание. Могут ли ядовитые атаки применяться к системам ИИ в реальности?
Машины опорных векторов (SVM) — довольно простые обучающие устройства. Они используют примеры для классификации или принятия решений. Хотя SVM все еще считается экспериментальной техникой, они используются в настройках безопасности для обнаружения аномального поведения, такого как мошенничество, аномалии использования кредитных карт и даже для отсеивания спама.
SVM обучаются, показывая примеры того, что они должны обнаруживать. Обычно это обучение происходит один раз и до того, как они будут использованы по-настоящему. Однако существует множество ситуаций, в которых характер данных со временем меняется. Например, спам меняет свою природу, поскольку спамеры придумывают новые идеи и меняют свои действия в ответ на механизмы обнаружения. В результате для SVM нет ничего необычного в том, чтобы продолжать обучение, выполняя свою работу по-настоящему, и именно здесь возникает возможность для атаки ядом.
Три исследователя, Баттиста Биггио (Италия), Блейн Нельсон и Павел Ласков (Германия), нашли способ снабдить SVM данными, специально разработанными для максимального увеличения частоты ошибок машины с помощью нескольких точек данных.
Подход предполагает, что злоумышленник знает используемый алгоритм обучения и имеет доступ к тем же данным. Менее реалистично это предполагает, что злоумышленник имеет доступ к исходным обучающим данным. Это маловероятно, но исходные данные обучения могут быть аппроксимированы выборкой из совокупности.
Со всеми данными злоумышленник может манипулировать оптимальным решением SVM, вставляя созданные точки атаки. Как говорят исследователи:
Предлагаемый метод открывает новые возможности для оптимизации воздействия атак, управляемых данными, на алгоритмы обучения, основанные на ядре, и подчеркивает необходимость рассмотрения сопротивления против состязательных данных обучения как важного фактора при разработке алгоритмов обучения.
Они обнаружили, что их метод может оказать удивительно большое влияние на производительность тестируемых SVM. Они также указывают на то, что можно было бы направить вызванные ошибки так, чтобы производить определенные типы ошибок. Например, спамер может отправить некорректные данные, чтобы избежать обнаружения в будущем. Самая большая практическая сложность в использовании таких методов заключается в том, что в большинстве случаев злоумышленник не контролирует маркировку точек данных — то есть спам или не спам — используемых в обучении. Чтобы нарушить алгоритм маркировки, необходимо разработать индивидуальное решение.
Похоже, что взлом может стать еще интереснее.