TCAV объясняет, как ИИ принимает решение


Почему важно понимать внутреннюю работу нейронной сети? Читайте дальше, чтобы узнать и познакомиться с инструментом Google для перевода от машины к человеку, TCAV (тестирование с векторами активации концепций)

Поскольку ИИ становится все более и более интегрированным во все аспекты человеческой деятельности и жизни, возникает острая необходимость найти способ заглянуть в его процесс принятия решений, что очень важно в таких секторах, как здравоохранение, которые имеют решающее значение для благополучия людей.
Возьмем, к примеру, SkinVision, мобильное приложение, которое, сфотографировав родинку, может определить, злокачественная она или нет. Будет ли диагноз неверным или неверная интерпретация злокачественной родинки как доброкачественной может иметь ужасные последствия, но и наоборот, не лишена недостатков: это вызовет непрошенный стресс у пользователей и превратит их в армию псевдопольных зная об их уже сгоревшей двери практикующего.
Чтобы такой алгоритм ИИ был успешным, крайне важно иметь возможность копировать действия врача. Другими словами, он должен уметь действовать как врач, используя свои знания:
Алгоритм проверяет наличие неровностей цвета, текстуры и формы поражения. Он указывает, какие пятна на коже следует отслеживать с течением времени, и дает индикацию низкого, среднего или высокого риска в течение 30 секунд.
Но поскольку мы все еще не можем полностью доверять самому алгоритму, вмешательство врача все еще необходимо, чтобы вручную проверить результаты. Таким образом, алгоритм дополняет врача, но не заменяет его:
Наши дерматологи осуществляют постоянный контроль качества оценок, оценивая результаты оценки рисков на основе своего профессионального опыта. Все фотографии, относящиеся к группе высокого риска, получают от наших врачей дополнительную личную консультацию о дальнейших действиях, которые необходимо предпринять в течение двух рабочих дней, с указанием, следует ли им расслабиться, продолжить наблюдение за поражением или немедленно обратиться за медицинской помощью.
Но почему необходимо слепо доверять алгоритму, чтобы диагностика была автономной?
Во всем мире системы здравоохранения сталкиваются с проблемой роста населения, увеличения числа случаев рака кожи и нехватки ресурсов. Мы считаем, что такие технологии, как наша, становятся все более интегрированными в систему здравоохранения, чтобы гарантировать, что те, кто нуждается в лечении, будут осведомлены о нем, и чтобы те, у кого есть необоснованные опасения, не отнимали драгоценное время и ресурсы. Эта интеграция не только сэкономит деньги, но и будет иметь жизненно важное значение для снижения уровня смертности из-за более ранней диагностики и поможет в дальнейшем расширении специализации.
Скептики 4-й промышленной революции сказали бы, что машины заберут работу врачей, но дело не в этом; на самом деле речь идет об автоматизации диагностического процесса, чтобы его можно было делать быстрее и дотянуть дальше. Или, как Дерек Лоу. , давний исследователь открытий новых лекарств, рассказывает New York Times:
Дело не в том, что машины заменят химиков. Дело в том, что химики, использующие машины, заменят тех, кто этого не делает.
С другой стороны, почему бы также не позволить ИИ изменить ситуацию с пандемическим выгоранием врачей?
Почти половина из 10 миллионов врачей в мире имели симптомы выгорания, включая эмоциональное истощение, межличностное разобщение и низкое чувство собственного достоинства. Это продолжает негативно влиять на качество медицинской помощи и сокращать срок службы врача.
Ужасная ситуация, которую можно несколько исправить, применив ИИ:
мы ожидаем, что искусственный интеллект значительно снизит административную нагрузку и улучшит опыт работы медицинских специалистов в будущем.
С другой стороны, «можем ли мы доверять решению, если мы не понимаем факторов, которые повлияли на него?»
Чтобы врач пришел к диагностическому заключению, он должен принять во внимание несколько факторов, например, типичный клинический отчет будет включать такую информацию, как:
в верхнем наружном квадранте груди появляется образование неправильной формы с микрокальцификацией. Результаты соответствуют злокачественному новообразованию.
Неравномерная масса и микрокальцификация — это факторы, которые побудили врача сделать вывод о злокачественных новообразованиях. Сравнивая с нейронной сетью, можем ли мы наблюдать, какие факторы и в какой степени (вес) были приняты во внимание, чтобы NN пришла к своим собственным выводам?
Наиболее распространенный подход к объяснению того, что модель ищет при принятии решения, — это создание визуализации определенных функций, которые она обнаруживает. Каждый нейрон в нейронной сети изучает определенный фильтр, детектор признаков, который реагирует на определенный паттерн в изображениях. Галлюцинации — это визуализация самих признаков, то, что ищет каждый нейрон в модели.
Но когда дело доходит до объяснений с помощью этих методов, возникает огромная проблема; вам все еще нужно интерпретировать получаемые картинки, но не совсем очевидно, каковы ключевые элементы решений.
То есть, несмотря на все усилия, все еще слишком сложно понять, как машина думает, и проверить это тоже.
Именно здесь на помощь приходит ученый из Google Brain Бин Ким со своим инструментом машинного перевода TCAV (Testing with Concept Activation Vectors).
Ким и ее коллеги из Google Brain недавно разработали систему, которая позволяет пользователю спрашивать ИИ черного ящика, насколько конкретная высокоуровневая концепция повлияла на его рассуждения. Например, если система машинного обучения обучена распознавать зебр на изображениях, человек может использовать TCAV, чтобы определить, какой вес система придает концепции «полос» при принятии решения.
Цель состоит в том, чтобы создать плагин, который можно было бы встроить в любую сеть и понять его доводы, чтобы решить, можем ли мы его безопасно использовать или нет.
TCAV делает это путем «тестирования чувствительности» рассматриваемой сети. Это тестирование может выявить, какие факторы и в какой степени повлияли на решение сети, например, как
чувствительны ли предсказания зебры к наличию полос », или« имея две карты яркости двух разных изображений кошек, при этом кошачьи уши на одном изображении имеют большую яркость, можем ли мы оценить, насколько важны уши в предсказании «кошек»?

Результатом этого теста является оценка TCAV, которая показывает, насколько важна была протестированная функция. Это дает человеку-оператору возможность подтвердить, что машина на самом деле действовала так же, как он.
Применение TCAV к системам классификации изображений — не единственная испытательная площадка для его приложений; его также можно применять к другим типам данных, таким как аудио, видео, последовательности и т. Д., Чтобы дать представление о прогнозах, сделанных различными моделями классификации на основе стандартного изображения. классификационные сети в специализированное медицинское приложение.
Что касается его возможности расширения, это свойство широко желательно, так что вместо того, чтобы изменять рабочий NN для приспособления к TCAV, вы просто присоединяете его к нему.
В конце концов, Бин Ким утверждает, что создание переводимого ИИ станет переломным моментом, который заставит человечество либо принять, либо отказаться от ИИ раз и навсегда.
Такие системы, как TCAV, являются ранними примерами, которые будут играть такую роль в ближайшем будущем; роль создания надежных ИИ путем их тестирования наравне с людьми, которые могут выполнять свою работу без людей.


Добавить комментарий