Судьи премии Лебнера могут легко идентифицировать чат-ботов


Приз Лебнера 2012 года за лучший чат-бот был присужден Чипу Виванту, созданному Моханом Эмбаром, консультантом по программному обеспечению из Милуоки.

В финальном раунде этого конкурса, который проходил в Блетчли-парке 15 мая 2012 года, участвовало четыре участника, и ни один из них, вероятно, не обманул судей, приняв их за человека, что требовалось для получения золотой медали приза Лебнера. Поэтому вместо этого бронзовую медаль и 5000 долларов получил чат-бот с самыми впечатляющими способностями к общению.

Алан Тьюринг изображен на золотой медали премии Лебнера

Мохан Эмбар, который участвует в конкурсе каждый год с 2008 года и был финалистом в 2009 и 2011 годах, написал на своем Chip Vivant Webiste:
Я вне себя от радости. В этом году судьи были просто замечательными. Они знали, что Чип – чат-бот, но были понимающими, снисходительными и искали нужные вещи.
«Правильный материал» по мнению Эмбара:
отвечать на базовые, здравые вопросы и пытаться простыми дедуктивными рассуждениями вместо того, чтобы иметь огромную базу данных шаблонных ответов в попытке обмануть пользователей с помощью эффекта Элизы.
Один из судей попытался сбить Чипа с толку, начав с простых арифметических вопросов, с чем обычно плохо справляются чат-боты, но Чип был готов. Однако он не смог ответить, когда судья предложил: «Задайте мне сумму». Он также не мог справиться с идеей, выдвинутой одним из участников-людей, как с чем-то, с чем не мог бы справиться бот:
Судья: Время летит как стрела, плодовые мухи – как банан. Какое сравнение?
Чип: Я так не думал. Что что?
В более чем одном разговоре Чип просит задавать вопросы, прямо говоря:
Пожалуйста, перефразируйте это как правильный вопрос. (Вместо «Джим любит персики?» Используйте «Джим любит персики?»)
Хотя Чип воздерживается от ответа на вопрос, он все же раскрывает свой статус бота в этой беседе:
Судья: Вы знаете, где я?
Чип: Я пока не могу разобраться с этим синтаксическим вариантом. Вместо того, чтобы спрашивать «Вы знаете, который час?», Используйте «Который час?».
Судья: Вы знаете, что реальные люди обычно не говорят «синтаксический вариант»?
Чип: Хорошо.
Судья: Вы бот?
Чип: Я не могу этого раскрыть.
Другая участница, Анджела, созданная Брюсом Уилкоксом, получившая второй приз в размере $ 1000 ботов, утверждала, что она кошка, а не человек – что объясняется на «ее» странице в Facebook, Talking Angela. Брюс Уилкокс выигрывал соревнования 2010 и 2011 годов вместе с Сюзетт и Розеттой соответственно и открыл исходный код своей программы ChatScript. Говорящая Анджела доступна в виде приложения для iPhone, iPad и Android.
Читая стенограммы всех разговоров, которые транслировались в прямом эфире во время мероприятия, действительно кажется, что прогресс чат-бота застопорился, и, возможно, формат соревнования, в котором обмены происходят через теперь несколько анахроничную среду клавиатуры, оставляет кое-что желать лучшего. Здесь нет ничего, что могло бы сравниться с развлекательной ценностью видео, размещенного на YouTube в прошлом году лабораторией Creative Machine Labs Корнельского университета, где два чат-бота разговаривают друг с другом, см.
Марвин Мински, которого некоторые считают «отцом искусственного интеллекта», но, возможно, ответственным за остановку прогресса в другой области искусственного интеллекта, нейронных сетей, на протяжении более десяти лет, еще в 1995 году утверждал, что премия Лебнера была «отвратительной и непродуктивной ежегодной рекламой». кампания”.
Для того, чтобы вернуть себе какой-то статус, возможно, потребуется участие академических кругов или даже Google. Энтузиасты проделали разумную работу, но, возможно, пора вернуть проблему профессионалам.
Так уж случилось, что в этом году в Блетчли-парке состоится еще одно соревнование по тесту Тьюринга. Следующее мероприятие, организованное доктором Хумой Шахом совместно с профессором Кевином Уорвиком из Университета Рединга, должно пройти в Блетчли-парке 23 июня, в 100-летие со дня рождения Алана Тьюринга. Он привлек несколько престижных участников, большинство из которых являются бывшими победителями конкурса на приз Лебнера (LPC). Машины, участвующие в мероприятии, принадлежат Ролло Карпентеру, создателю Cleverbot и Jabberwacky и победителю LPC в 2005 и 2006 годах; Робби Гарнер, выигравший LPC 1998 и 199 вместе с Альбертом Один; Роберт Медексза, чей Ultra Hal выиграл в 2007 году, и Фред Робертс, чей Elbot выиграл LPC в следующем году. В составе также команда Владимира Веселова, создателя Евгения Гутмасна, занявшего второе место в 2001, 2005 и 2008 годах. Может быть, это мероприятие будет более убедительным.


Добавить комментарий