Народный тест Тьюринга.
Предварительный вариант технической спецификации
Предварительный вариант технической спецификации Народного теста Тьюринга выложен для обсуждения. Вы можете высказать замечания и предложения по поводу внесения каких-либо изменений в форуме "Программы-собеседники". Через некоторое время будет также подготовлен вариант правил для пользователей, более простой для восприятия и не перегруженный техническими подробностями.
Техническая спецификация на проведение Народного теста Тьюринга
0. Роли участников Народного теста Тьюринга.
============================================
0.1. Координатор.
-----------------
Функции:
Официальные объявления,
организация обсуждений,
принятие окончательных решений,
проведение первого этапа тестирования,
публикация результатов.
0.2. Технический организатор.
-----------------------------
Функции:
Первичная обработка тестового набора,
регистрация участников второго этапа,
рассылка тестовых данных,
сбор оценок,
анализ результатов тестирования,
создание и сопровождение программ для генерации тестовых наборов,
сбора и обработки статистики.
0.3. Участники первого этапа.
-----------------------------
Функции:
Проведение диалогов с программами,
приведение протоколов к заданной форме,
передача протоколов диалогов техническому организатору.
0.4. Участники второго этапа.
-----------------------------
Функции:
Выставление оценок диалогам из тестового набора,
передача выставленных оценок техническому организатору.
0.5. Зрители.
-------------
Функции:
Поедание хлеба и созерцание зрелищ :)
1. Первый этап. Построение тестового набора.
============================================
1.1. Получить список тестируемых программ.
------------------------------------------
Результат:
Координатор оглашает список тестируемых программ
и обеспечивает доступ к дистрибутивам программ из этого списка.
1.2. Получить список участников первого этапа.
----------------------------------------------
Результат:
Координатор оглашает список участников первого этапа,
устанавливает контакт с каждым участником,
сообщает каждому участнику правила проведения первого этапа тестирования.
1.3. Получить набор диалогов.
-----------------------------
Порядок действий:
Участники первого этапа скачивают дистрибутивы программ из списка 1.1
из источника, указанного координатором.
Участники первого этапа инсталлируют программы из списка 1.1
и проводят с каждой программой N диалогов.
Правила проведения диалогов:
...
Участники первого этапа оформляют текстовый файл с протоколом N диалогов
с каждой программой из списка 1.1.
Формат текстового файла:
Заголовок диалога, строка вида
Программа "Кодовое имя программы" участник "Кодовое имя участника" диалог "Номер диалога".
Текст диалога, последовательность строк вида
Ч: Фраза
П: Фраза
Ч: Фраза
П: Фраза
...
Разделитель диалогов, строка вида
========================
Между заголовком диалога и текстом диалога должна находиться пустая строка.
Между текстом диалога и разделителем диалогов должна находиться
пустая строка.
Результат:
Каждый участник первого этапа должен передать координатору текстовый файл
с протоколом N диалогов с каждой программой из списка 1.1.
2. Второй этап. Тестирование программ.
======================================
Тестирование программ выполняется офф-лайн, передача тестируемых диалогов
и их оценок выполняется посредством электронной почты.
2.1. Обработка тестового набора.
--------------------------------
Порядок действий:
Координатор передает техническому организатору протоколы диалогов
участников первого этапа.
Технический организатор формирует единый протокол диалогов. В дальнейшем
этот протокол не дополняется и не модифицируется.
Единый протокол диалогов используется в дальнейшем для построения
персональных наборов диалогов, предназначенных для оценивания
участниками второго этапа.
Результат:
Текстовый файл, содержащий все диалоги, которые будут оцениваться
на втором этапе тестирования.
Формат текстового файла указан в пункте 1.3.
2.2. Регистрация участников второго этапа.
------------------------------------------
Порядок действий:
Лица, желающие принять участие во втором этапе тестирования (оценивании
диалогов из тестового набора), должны прислать на адрес технического
организатора заявку на участие.
Заявкой на участие считается письмо на адрес ***@***.***.**, в теме
которого указано "Народный тест Тьюринга. Заявка на участие".
Указанный адрес электронной почты ***@***.***.** является фиктивным
и предназначен только для приема заявок на участие в тестировании.
Для подтверждения заявки в ответ будет выслано письмо с действительного
адреса технического организатора с темой "Народный тест Тьюринга.
Подтверждение заявки на участие" и просьбой указать желаемое количество
диалогов для оценивания в одной порции тестовых данных.
Результат:
Технический организатор формирует список участников второго тура,
представленный адресами электронной почты, на которые в дальнейшем
будут высланы тестовые данные, и с которых будут получены оценки диалогов.
Список участников может дополняться в ходе проведения
второго этапа тестирования.
2.3. Рассылка тестовых данных.
------------------------------
Порядок действий:
Для каждого участника из списка 2.2 формируется уникальный тестовый набор
с помощью программы, условно названной "Генератор тестовых наборов".
Уникальный тестовый набор для каждого участника состоит из всех диалогов,
предназначенных для оценивания, перечисленных в произвольном порядке.
Из тестового набора устранена информация о происхождении диалога (программа,
с которой проводился диалог, участник первого этапа, проводивший диалог,
номер диалога).
Каждый диалог сопровождается уникальным кодом, по которому
может быть восстановлена информация о происхождении диалога (программа,
с которой проводился диалог, участник первого этапа, проводивший диалог,
номер диалога).
Уникальный тестовый набор разбивается на некоторое количество порций
(в каждой из которых присутствует количество диалогов, указанное данным
участником второго этапа в заявке на участие) и высылается участникам
второго этапа по адресам, с которых была написана заявка на участие.
Формат текстового файла из уникального тестового набора:
Текст диалога, последовательность строк вида
Ч: Фраза
П: Фраза
Ч: Фраза
П: Фраза
...
Код диалога, строка вида
Код диалога: {********-****-****-****-************}
Место для выставления оценки, строка вида
Оценка: [ ]
Разделитель диалогов, строка вида
========================
Между текстом диалога, кодом диалога, местом для выставления оценки
и разделителем диалога должна находиться пустая строка.
2.4. Оценка диалогов участниками второго этапа.
-----------------------------------------------
Участники второго этапа получают несколько писем, в каждом из которых
присутствует некоторое количество диалогов. Для каждого диалога указано поле
для выставления оценки.
Участник должен "ответить" на каждое такое письмо, процитировав исходное
и выставив оценку каждому диалогу в специально отведенное поле.
Размер порции диалогов выбирается таким образом,
чтобы каждую порцию диалогов можно было оценить "за один раз".
2.5. Сбор оценок.
-----------------
Ответы с оценками участников второго этапа приходят на адрес
технического организатора.
Технический организатор собитает ответы в текстовый файл, который
в дальнейшем будет автоматически проанализирован программой
"Анализатор статистики".
2.6. Анализ и публикация результатов тестирования.
--------------------------------------------------
Анализ собранной статистики выполняется автоматически, программой
с условным названием "Анализатор статистики".
Для анализа статистики существенны только уникальные коды диалогов
и соответствующие им оценки.
В результате анализа вычисляются суммарные оценки всех диалогов
каждой программы. Результат передается координатору тестирования
и публикуется в сети.
Формула расчета сообщается координатором перед началом тестирования,
по результатам обсуждения с заинтересованной общественностью.
Основной результат:
Список программ с суммарными оценками, отсортированный по оценкам.
Дополнительный результат:
Полная таблица статистики в виде:
+------------------------------------------+-----------+-----------+-----+
| | участник1 | участник2 | ... |
+------------------------------------------+-----------+-----------+-----+
| Имя программы/имя человека/номер диалога | оценка | оценка | |
+------------------------------------------+-----------+-----------+-----+
| ... | оценка | оценка | |
+------------------------------------------+-----------+-----------+-----+
В настоящий момент координатором Народного теста Тьюринга является Инга Кесс, технический организатор (и составитель данной спецификации) - Андрей Филинский; участники 1 этапа - Инга Кесс, Андрей Филинский, Mihail, Константин Шевчук (Human_in_Shadow). Список участников второго этапа пока не составлялся. Список участников первого этапа может быть изменен. Сроки проведения Народного теста Тьюринга пока не уточнены; сначала будут утверждены "технический" и "пользовательский" варианты спецификации.
Обсудить предварительный вариант технической спецификации, высказать свои предложения и замечания вы можете в
форуме "Программы-собеседники"
|
