Max Home IndustryНекоторые новости прошлого года заслуживают второго шанса. Здесь у нас есть одно такое — недавние результаты подтвердили, что нейрон — это больше, чем просто одна активная единица. Его соединения выполняют вычисления, которые делают его самостоятельной двухуровневой сетью. Возможно, мозг гораздо более способная машина, чем мы когда-либо могли себе представить.
(2019-07-27)
Практики искусственного интеллекта долгое время работали с очень простой абстракцией биологического нейрона. Это вполне разумно, поскольку есть много аспектов живого нейрона, которые больше связаны с тем, что он жив, чем с тем, что он является вычислительным элементом.
Основная модель всегда заключалась в том, что вход нейрона заставляет его возбуждаться, пока он не достигнет точки, где он «срабатывает» и посылает сигнал другим нейронам, подключенным к нему. Это смехотворно упрощенная модель, особенно когда она реализована в искусственной нейронной сети (ИНС), где каждый нейрон моделируется как нелинейный преобразователь. Входы взвешиваются и суммируются, а выход является нелинейной функцией активации. Таким образом, вместо того, чтобы переходить от нулевого выхода к большому, искусственные нейроны обычно плавно переходят от низкого выхода к высокому. Нелинейные функции обычно предназначены для того, чтобы нейрон казался включенным, но это все же плавное изменение, поскольку эта плавность важна для используемых нами методов обучения.
Как уже было сказано, смущающе простая модель, учитывая, что нейрон не выдает устойчивый сигнал, а выдает пики с большим количеством пиков, что указывает на большую активацию.
Настоящий нейрон намного сложнее, и со временем люди задались вопросом, действительно ли эта модель слишком проста. Учитывая, насколько эффективны наши искусственные нейронные сети, данные свидетельствуют о том, что, возможно, мы не игнорировали что-то важное — или мы?
Кредит изображения: Квазар Ярош
Дендриты входов и соединений разветвляются в древовидную структуру, соединяющуюся с аксонами других нейронов. Долгое время предполагалось, что, возможно, дендриты — это больше, чем просто тупые «провода», проводящие выходы других нейронов к телу нейрона.
Теперь у нас есть теоретический анализ, проведенный исследователями, связанными с проектом Blue Brain Project в Федеральной политехнической школе Лозанны, Швейцария, который убедительно свидетельствует о том, что это правда, и дендриты действительно участвуют в вычислениях. Похоже, что дендриты делятся на единицы, которые объединяют входы независимо от других единиц.
«Когда эти локальные регенеративные события запускаются независимо, прогнозируется, что отдельные нейроны могут функционировать как двухслойные нейронные сети. Это, в свою очередь, должно позволить нейронам изучать линейно неразрывные функции и реализовывать трансляционную инвариантность. На сетевом уровне считается, что независимые субъединицы значительно увеличить объем памяти, чтобы обеспечить стабильное хранение ассоциаций функций, представить мощный механизм для обнаружения совпадений и поддерживать алгоритм обратной поддержки для обучения нейронных сетей »
В важной части цитаты говорится, что отдельный нейрон функционирует как двухслойная сеть. Это важно, потому что хорошо известно, что однослойная сеть не может изучить очень важный класс проблем. Фактически, это было открытие того, как обучать многоуровневые сети, что стало большим прорывом — в сочетании с огромным увеличением вычислительной мощности, которую мы могли использовать при обучении.
Новое исследование предлагает и тестирует модель того, как и почему формируются эти дендритные единицы. Также исследуется поведение юнитов:
«Таким образом, вычисление, в котором задействован нейрон, может варьироваться в зависимости от состояния мозга; когда фоновая проводимость высока, нейроны могут отдавать приоритет локальному обучению дендритов, тогда как в противном случае они могут отдавать предпочтение генерации ассоциативных выходных данных».
Очевидно, что предстоит еще многое сделать, но, возможно, наши текущие модели биологических нейронных сетей не совсем отражают все, что происходит.