Широко используемые методы машинного обучения не работают так, как заявлено

Модели и алгоритмы для анализа сложных сетей широко используются в исследованиях и влияют на общество в целом через их приложения в социальных сетях, поисковых системах и рекомендательных системах. Однако, согласно новому исследованию, один широко используемый алгоритмический подход для моделирования этих сетей имеет фундаментальные недостатки и не позволяет уловить важные свойства реальных сложных сетей.

«Дело не в том, что эти методы приносят вам абсолютный мусор. Возможно, они содержат некоторую информацию, но не так много, как думают многие», — сказал К. «Сеш» Сешадхри, доцент кафедры информатики и инженерии. Инженерная школа Баскина в Калифорнийском университете в Санта-Крус.

Сешадри — первый автор статьи о новых открытиях, опубликованной 2 марта в Proceedings of the National Academy of Sciences . В исследовании оценивались методы, известные как «низкоразмерные вложения», которые обычно используются в качестве входных данных для моделей машинного обучения. Это активная область исследований, и новые методы встраивания разрабатываются быстрыми темпами. Но Сешадри и его соавторы говорят, что все эти методы имеют одни и те же недостатки.

Чтобы объяснить, почему, Сешадхри использовал пример социальной сети, знакомого типа сложной сети. Многие компании применяют машинное обучение к данным социальных сетей, чтобы делать прогнозы о поведении людей, рекомендации для пользователей и т. Д. Методы встраивания по существу преобразуют положение человека в социальной сети в набор координат точки в геометрическом пространстве, в результате чего получается список чисел для каждого человека, который можно подключить к алгоритму.

«Это важно, потому что что-то абстрактное, например« положение человека в социальной сети », может быть преобразовано в конкретный список чисел. Еще важно то, что вы хотите преобразовать это в низкоразмерное пространство, чтобы список чисел, представляющих каждого человека, относительно невелико «, — пояснил Сешадхри.

После этого преобразования система игнорирует реальную социальную сеть и делает прогнозы на основе отношений между точками в пространстве. Например, если много близких вам людей покупают определенный продукт, система может предсказать, что вы, скорее всего, купите тот же продукт.

Сешадри и его соавторы математически продемонстрировали, что важные структурные аспекты сложных сетей теряются в этом процессе внедрения. Они также подтвердили этот результат эмпирическим путем, протестировав различные методы встраивания в различных типах сложных сетей.

«Мы не говорим, что некоторые конкретные методы терпят неудачу. Мы говорим, что любой метод внедрения, который дает вам небольшой список чисел, в корне потерпит неудачу, потому что низкоразмерная геометрия просто недостаточно выразительна для социальных сетей. сети и другие сложные сети «, — сказал Сешадхри.

Важной особенностью реальных социальных сетей является плотность треугольников или связей между тремя людьми.

«Если у вас много треугольников, это означает, что в этой части социальной сети существует большая структура сообщества», — сказал Сешадри. «Более того, эти треугольники имеют еще большее значение, когда вы смотрите на людей с ограниченными социальными сетями. В типичной социальной сети у некоторых людей есть множество связей, но у большинства людей их не так много».

Анализируя методы встраивания, исследователи заметили, что многие социальные треугольники, представляющие структуру сообщества, теряются в процессе встраивания. «Кажется, что вся эта информация исчезает, так что похоже, что то, что вы хотели найти, было потеряно при построении этих геометрических представлений», — сказал Сешадри.

Низкоразмерные вложения — далеко не единственные методы, которые используются для создания прогнозов и рекомендаций. Обычно они являются лишь одним из множества входных параметров очень большой и сложной модели машинного обучения.

«Эта модель представляет собой огромный черный ящик, и многие сообщаемые положительные результаты говорят о том, что если вы включите эти низкоразмерные вложения, ваша производительность возрастет, возможно, вы получите небольшой скачок. Но если вы использовали ее Сама по себе, кажется, вы многое упускаете «, — сказал Сешадри.

Он также отметил, что новые методы встраивания в основном сравнивают с другими методами встраивания. Однако недавние эмпирические исследования других исследователей показывают, что различные методы могут дать лучшие результаты для конкретных задач.

«Допустим, вы хотите предсказать, кто республиканец, а кто демократ. Существуют методы, разработанные специально для этой задачи, которые работают лучше, чем встраивание», — сказал он. «Утверждают, что эти методы встраивания работают для множества различных задач, и поэтому многие люди приняли их. Их также очень легко подключить к существующей системе машинного обучения. Но для любой конкретной задачи оказывается, что есть ты всегда можешь сделать что-то лучшее «.

Учитывая растущее влияние машинного обучения в нашем обществе, Сешадхри сказал, что важно выяснить, верны ли основные предположения, лежащие в основе моделей.

«У нас есть все эти сложные машины, которые делают вещи, которые существенно влияют на нашу жизнь. Мы просто говорим о том, что нам нужно быть более осторожными при оценке этих методов», — сказал он. «Особенно в наши дни, когда машинное обучение становится все более сложным, важно иметь некоторое представление о том, что можно, а что нельзя делать».