Технический анализ

В день соревнований каждый робот будет получать 200 баллов за одного успешно рекрутированного респондента (который был переведен на оператора контакт-центра и действительно был согласен участвовать в опросе). За каждый ошибочный перевод (автоответчик или человек, который на самом деле не дал согласия на участие, но был переведён на оператора) робот теряет 50 баллов. Каждая затраченная минута связи – минус 1.32 балла. Каждый затраченный номер – минус 0.05 баллов.

Начисление баллов роботам будет отображаться динамически и транслироваться онлайн таким образом, чтобы каждый из участников видел в режиме реального времени свое местонахождение в турнирной таблице и при необходимости мог корректировать работу робота.

Ручной контроль качества работы робота

В ходе соревнования помимо автоматического подсчета баллов на основе технического анализа данных будет проводиться прослушивание аудиозаписей разговоров и оценка работы роботов- рекрутеров группой операторов-контролёров, которых предоставляет Социологическое Ведомство Оперативных Исследований (Агентство «СВОИ», https://www.svoi.org). Методическое обеспечение и итоговую аналитику обеспечивает Федорова Елена (Социологический центр «Хи Квадрат», https://callage.ru).

На этапе обработки операторами-контролёрами будет прослушано, как минимум 100 успешных (закончившихся переводом на респондента) соединений и 200 прерванных (автоответчиков, обрывов, отказов) аудиозаписей соединений каждого участника.

Задачей операторов-контролёров будет являться определение и оценка:

1. Корректности итогового результата вызова: точность детекции роботом автоответчика или голосового помощника, достоверность согласия респондента на продолжение разговора с оператором или его отказ.
   Каждая прослушанная аудиозапись будет отмечена одним из следующих кодов:
   1. результат установлен верно;
   2. результат установлен неверно;
   3. результат не определён (оператору-контролёру не удалось четко и однозначно идентифицировать результат).
2. Корректности и полноты ответа на каждый вопрос за исключением вопроса о половой принадлежности респондента.
   Каждая прослушанная аудиозапись будет отмечена одним из следующих кодов:
   1. ответ на вопрос отмечен верно;
   2. ответ на вопрос отмечен неверно;
   3. респондент не ответил на вопрос робота;
   4. робот не понял ответа респондента;
   5. другое (оператор-контролёр оставит текстовый комментарий о ходе диалога).

Ручной контроль качества работы роботов будет проходить 14-15 августа 2024 года. По итогам работы будет сформирован финальный отчёт в виде таблиц и графиков – процентное соотношение итогового результата кодировки прослушанных аудиозаписей в разрезе вопросов по каждому из участников. Также руководитель аналитики Федорова Елена дополнит отчёт качественным анализом результатов с выводами, вопросами и рекомендациями по каждому из участников.

Выбор победителя

Не позднее 10 утра 16 августа 2024 года отчёт ручного контроля и рекомендации аналитиков будут переданы жюри. Членами жюри являются:

• Роман Марина (ФОМ);
• Евсеева Снежана (ВЦИОМ);
• Токарева Светлана (IPSOS);
• Кимосова Ольга (ORO).

На основании технического анализа и полученных данных по итогам ручного контроля жюри определит победителя «Спартакиады», а также определит место в турнирной таблице каждого из участников.

Итоговые результаты будут опубликованы на сайте «Спартакиады» https://robocon.survey-studio.com/. Результаты технического анализа будут также опубликованы на сайте «Спартакиады» и находиться в открытом доступе. Аналитический отчёт не является публичным и будет доступен только участникам, спонсорам и организаторам соревнования.