Max Home IndustryПланируется заменить тест Тьюринга как средство измерения способности компьютера думать. Идея состоит в том, чтобы ежегодно или раз в два года проводить чемпионат Тьюринга, состоящий из трех-пяти различных сложных задач.
Недавний семинар на конференции AAAI по искусственному интеллекту 2015 года проходил под председательством Гэри Маркуса, профессора психологии Нью-Йоркского университета. Его мнение, и то, которое мы разделяем (см. «Прохождение теста Тьюринга навлекает дурную репутацию»), заключается в том, что срок действия теста Тьюринга истек и стал
«упражнение в обмане и уклонении».
Ссылаясь на инцидент, который можно рассматривать как последнюю каплю, чат-бот, использующий личность 13-летнего украинского мальчика по имени Юджин Густман, был провозглашен первым, прошедшим тест Тьюринга, Маркус написал:
Значительный ажиотаж вокруг объявления — почти каждый технический блог и газета сообщал об этой истории — проигнорировал более фундаментальный вопрос: что же такое Юджин Густман и что на самом деле означает «его» победа над тестом Тьюринга для будущего ИИ. ?
Маркус продолжил:
Что действительно показывает победа Густмана … [это] легкость, с которой мы можем обмануть других.
Это мнение мы также высказали в то время, размышляя:
Однако, прежде чем мы признаем, что это настоящий прорыв для ИИ, нам, возможно, нужно задать больше вопросов о том, является ли это доказательством того, что компьютеры могут учиться думать, или просто компьютеры могут учиться трюкам.
В статье Что будет после теста Тьюринга? Маркус отмечает:
реальная ценность теста Тьюринга исходит из чувства конкуренции, которое он вызывает среди программистов и инженеров.
что побудило новую инициативу к многозадачному соревнованию.
После недавнего семинара две задачи — уверенные лидеры на чемпионате Тьюринга. Один из них — это языковой тест, предложенный Гектором Левеском и основанный на работе Терри Винограда, о которой мы впервые сообщили в августе прошлого года, см. «Лучший тест Тьюринга — схемы Винограда».
Это требует от участников усвоения смысла предложений, которые людям легко понять благодаря их знанию мира. Один простой пример:
Трофей не поместился бы в коричневый чемодан, потому что он был слишком большим. Что было слишком большим?
Это неоднозначный вопрос, потому что «он» может относиться либо к трофею, либо к чемодану. «Правильный» ответ сразу очевиден для человека, который будет опираться на знания о близких размерах чемоданов и трофеев. В этом случае компьютер, вероятно, может пройти тест, но в других, более тонких случаях компьютер может быть сбит с толку:
Члены городского совета отказались дать разрешение разгневанным демонстрантам, опасаясь насилия. Кто боялся насилия?
Второй тест представляет собой вариацию того, что предложил сам Маркус:
Создайте компьютерную программу, которая сможет смотреть любую произвольную телепрограмму или видео на YouTube и отвечать на вопросы о ее содержании: «Почему Россия вторглась в Крым?» или «Почему Уолтер Уайт решил нанести удар по Джесси?»
Как отмечает Маркус:
Чаттерботы, такие как Густман, могут вести короткий разговор о телевидении, но только с помощью блефа. (Когда его спросили, о чем идет речь, он ответил: «Откуда мне знать, я не смотрел шоу».) Но ни одна существующая программа — ни Watson, ни Goostman, ни Siri — в настоящее время не может приблизиться к тому, что любой умный, настоящий подросток может: посмотрите серию «Симпсонов» и скажите нам, когда смеяться.
Выяснилось, что Фей-Фей Ли, директор Стэнфордской лаборатории искусственного интеллекта, работал над аналогичной идеей, используя изображения. Поэтому они объединили усилия, чтобы создать мероприятие, на котором машина столкнется с вопросами «журналистского типа» об изображениях, видео или аудио. .
Двое других выступили в качестве вероятных кандидатов. Один из них — это разработка формата вопросов / ответов Watson для создания машин, которые могли бы отвечать на вопросы стандартных тестов начальной школы и, возможно, в конечном итоге использовать эти знания для обучения студентов-людей.
Последняя задача, получившая название «Икеа», требует от роботов сотрудничества с людьми для создания плоской мебели. Это включает в себя интерпретацию письменных инструкций, выбор правильной части и удерживание ее в нужном положении, чтобы товарищ по команде мог повернуть винт. По крайней мере, это полезный навык, который может побудить нас приветствовать машины в своих домах.