Народный тест Тьюринга - 2003См. также: Народный тест Тьюринга. Главная страница проекта Существует много различных программ (в том числе русскоязычных), более или менее способных поддерживать осмысленный диалог с человеком. Для оценки интеллекта таких программ используется тест Тьюринга, основанный на беседе человека с машиной. Проверяющий должен определить, разговаривает ли он с живым человеком или с программой. Поскольку большинство программ, принимающих участие в проекте, рассчитаны на работу оффлайн, тест Тьюринга был модифицирован.
Желающим принять участие в проекте предлагался набор диалогов людей и программ (в каждом диалоге могут участвовать: человек и программа, программа и человек, человек и человек, программа и программа). Требовалось сделать предположение, кто из участников диалогов - программы, а кто - люди (с помощью голосования). Для оценивания предлагались диалоги второго тура. Первый тур, отборочный, состоял в том, что отбраковывались программы, не способные поддерживать видимость осмысленного диалога в течение первых пяти пар реплик. В случае наличия у программы различных персонажей или баз, созданных различными людьми, рассматривались все базы, доступные на момент начала тестирования. Количество диалогов 2 тура, в котором принимала участие какая-либо конкретная программа, зависело от степени осмысленности реплик программы, а также в значительной степени от личных вкусов людей, отбиравших более-менее осмысленные диалоги для участия во 2 туре (в случае, если качество диалога казалось тестеру нетипичным для данной программы или в случае, если диалоги казались достаточно интересными, мог проводиться дополнительный диалог с участием той же программы с той же базой). Участники диалогов (люди и программы) были зашифрованы числами. Один и тот же участник (программа или один из участников-людей) в различных диалогах мог обозначаться различными числами:
В первом диалоге принимали участники с номерами 1 и 2, во втором - участники с номерами 3 и 4, и так далее.
Всем желающим предлагалось выставить каждому из участников диалогов оценку: Успешно прошедшими 2-й тур предлагалось считать программы с неотрицательным средним результатом. Поскольку у ряда выставлявших оценки возник вопрос, почему именно +2, +1, 0 и -1 балл и могут ли в принципе использоваться такие оценки, поясняю: это аналог обычной 5-балльной системы, в которой, как известно, оценка "1" практически не ставится.
"5" - человек Тестирование завершилось 30.04.2004. На этот момент была выставлена 791 оценка (в сумме по всем диалогам). Около 40% оценок при этом было выставлено участникам-людям, около 60% - участникам-программам (в то время как доля людей и программ среди участников диалогов составляла 37,5% и 62,5% соответственно). Оценки распределились следующим образом:
Программу оценили как "хорошо притворяющуюся" 14,38%  Оценки участников:
Зеленым цветом в таблице отмечены неотрицательные результаты, принадлежащие как программам, так и участникам-людям. Неотрицательные результаты принадлежат участникам-программам с номерами 16 (Болтун), 17 (ChatMaster с базой Инги Кесс), 19 и 20 (Девушка 1.0), 21 (Villy); 23, 24, 31 (Девушка 1.0), 35 (Nus с базой Инги Кесс), 36 (Болтун), 37 (Девушка 1.0). Таким образом, в отдельных диалогах хорошие результаты показали программы (в алфавитном порядке) ChatMaster, Nus, Villy, Болтун, Девушка 1.0. При совместном рассмотрении оценок одной и той же программы для всех использованных баз из списка программ с ненулевым результатом выпадает ChatMaster (поскольку оригинальная база программы в результате неграмотных действий пользователей перегружена репликами с малой степенью осмысленности). Результаты совместного оценивания участников
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Участник |
Средний балл |
Люди |
1,12 |
Болтун |
0,02 |
Девушка 1.0 |
0,37 |
Nus |
-0,31 |
ChatMaster |
-0,09 |
Electronic Brain |
-0,54 |
A-Life3 |
-0,74 |
Talkerus |
-0,37 |
Villy |
0,15 |
Попугай |
-0,43 |
Следует отметить, что относительно высокие показатели одних программ и относительно низкие показатели других не означают безусловного превосходства одних программ над другими. Речь идет об оценивании конкретных диалогов; в других диалогах, с другими людьми-тестерами и при использовании других (возможно, дополненных) баз результаты могли бы быть совершенно иными. Вообще, как показал опыт, качество диалогов с одной и той же программой существенно меняется при использовании различных баз. Причин этому, как мы считаем, две: во-первых, что очевидно, использование базы с малым количеством записей (или с большим количеством неосмысленных реплик) существенно ухудшает качество диалога. Во-вторых, разные люди по-разному ведут диалог, используют различные обороты речи; программа, удачно взаимодействующая с одним человеком, может оказаться не в состоянии правильно понять и отреагировать на реплики другого, и наоборот, программа, с беседе с большинством людей выдающая бессмысленные реплики в ответ на слова пользователя, может вполне осмысленно реагировать, например, на реплики своего разработчика (или других людей с тем же стилем ведения беседы).
Диалоги, предлагавшиеся для оценивания во 2 туре:
- Участники 1+2, 3+4, 5+6, 7+8, 9+10
- Участники 11+12, 13+14, 15+16, 17+18, 19+20
- Участники 21+22, 23+24, 25+26, 27+28, 29+30
- Участники 31+32, 33+34, 35+36, 37+38, 39+40
Удобнее видеть один диалог на странице? Вам сюда...
Через какое-то время работа над проектом "Народный тест Тьюринга" будет продолжена (точная дата пока не определена). Вероятнее всего, первоначальные планы (проведение 3-го тура по итогам 2-го) будут изменены. Во-первых, ряд программ-участников, не получивших во 2 туре неотрицательных результатов, - это относительно недавно созданные программы. За время проведения 2-го тура появились новые версии программ и были пополнены базы; эти программы могли бы пройти 2-й тур тестирования, появись новые версии чуть раньше. Во-вторых, у нас вызывает некоторые сомнения достоверность полученных результатов. В ближайшем будущем на сайте будут выставлены дополнительные комментарии к полученным результатам.
Ждите объявлений!
См. также: Народный тест Тьюринга. Главная страница проекта
© Инга Кесс
При полном или частичном использовании этих материалов на своем сайте не забудьте поставить ссылку на Растрепанный Блокнот :)...
