Спартакиада роботов 2024

16 августа 2024 года завершилась Спартакиада
роботов-рекрутёров.

Robocon 2024 Прежде всего я хочу поблагодарить всех, кто так или иначе оказался к ней причастен: организаторов, участников и просто зрителей. Спартакиада стала возможна благодаря нашему общему энтузиазму. Десятки людей сидели и отлаживали сценарии и системы распознавания речи вместо того, чтобы играть с детьми, смотреть футбол или собирать грибы в лесу. Помню, как в ночь перед соревнованиями у меня была конференция с коллегами из Target.AI на которой мы решили «по-быстрому» переделать всё их подключение. В три часа ночи, пять или шесть взрослых состоявшихся людей обсуждают что им надо поменять параметры транка, чтобы завтра выиграть что-то там. А могли бы спать. Купить такое отношение просто деньгами крайне сложно. Я очень это ценю. Спасибо вам!

Теперь по существу.

Мы пытались построить динамику соревнования на онлайн-панели с данными каждого из участников, чтобы было видно кто и сколько вызовов обработал, сколько перевёл в контакт-центр и сколько полных интервью в итоге сделал. С одной стороны, эта идея сработала. Она добавила интерес и тот самый спортивный дух, который заставил всех перебирать лапами и менять настройки прямо по ходу работ. С другой стороны, мы увидели, что ошибки интеграции и переводов вызовов сделали цифры, которые отображались на панели соревнования, совершенно отрешенными от жизни.

Одним из неожиданных и забавных моментов была ошибка в передаче данных о звонках у одного из участников, в результате которого робот TWIN стал переводить на операторов практически все соединения, где почуял человека. Любопытно, что этот сбой позволил роботу вырваться сразу вперёд и финишировать с огромным отрывом от остальных участников – несмотря на обилие штрафов за ошибочные переводы. Польза от массовости сильно перевесила все негативные оценки. Это наводит на мысль, что, возможно, технически-экономический баланс и счастье – они в простоте.

Ещё из любопытных наблюдений могу отметить проявившийся эффект сброса вызова в момент перевода на оператора. То есть респондент дал согласие на опрос, поговорил с роботом и ответил на его вопросы, но как только его перевели на органического оператора – бросил трубку. И вряд ли это связано с неготовностью людей общаться с себе подобными. Представьте: вам позвонил какой-то приятный голос, сказал, что будет небольшой опрос. Вы согласились отвечать и даже что-то уже о себе рассказали. И вдруг вам говорят: послушайте, сейчас мы переведём вас на специалиста и уж он-то займется вами по-настоящему. И тут вы понимаете, что попали. И в момент соединения с оператором вы ему уже искренне и эмоционально говорите, чем ему стоит заняться сегодня вечером вместо того, чтобы отнимать у людей время.

Когда соревнование закончилось, мы решили игнорировать все ошибки взаимодействия роботов с контакт-центрами и считать успешными все вызовы, где робот опросил человека, получил ответы на вопросы и передал эти ответы в SURVEYSTUDIO. Контролеры проверяли правомерность такого перевода и штрафовали только за катастрофические провалы, например попытку перевести на оператора автоответчик. Это позволило нам быстро и сравнительно объективно выбрать победителя.

Не преуменьшая заслуги компании Callwork, которая выиграла эти соревнования, хочу сказать, что самое главное в Спартакиаде было все же не выявление сильнейшего. Точнее – не только выявление сильнейшего. Я считаю, что это робкий и небольшой, но заметный шаг в сторону появления нового рынка автоматизированных исследований. Попытка сформировать сообщество тех, кто заинтересован в развитии этой индустрии, попытка понять текущие возможности и проблемы, попытка оценить перспективы и найти среди них свое место.

Вполне себе исследовательская работа.

И эта работа не окончена. Сейчас мы проводим аудит всех собранных ответов роботов. Наша задача – понять, насколько мы можем доверять точности и корректности распознавания ответов на разные типы вопросов, какие типичные ошибки встречаются в процессе интерпретации ответов, что можно использовать в реальных опросах, а что нельзя. Мы также рассмотрим зависимость частоты обрывов от длины интервью и разные методы формулировок вопросов. Так, например, пол можно определить, спросив имя, проанализировав тембр или наклонения глаголов: «пошёл» или «пошла» и тд.

В сентябре отчет будет передан всем спонсорам и организаторам Спартакиады.

Генеральный директор
ООО "Системы информации и связи" / SURVEYSTUDIO/DEX
Максим Акульшин

Идея соревнования

Мы представляем российское сообщество исследовательских компаний, занимающихся сбором данных с помощью телефонных опросов. В последнее время мы столкнулись с рядом технических, социальных и экономических проблем и задач: начиная от сокращения количества телефонных операторов на рынке труда и заканчивая падением достижимости и коэффициента кооперации респондентов. Использование роботизированных опросов является одним из доступных методов не только сгладить эти негативные факторы, но и, возможно, получить дополнительные преимущества в скорости и качестве собираемых данных.

С этой целью мы проводим Спартакиаду - соревнование телефонных роботов-рекрутёров. Задача робота-рекрутёра - поговорить с респондентом, получить у него ответы на несколько ключевых фильтрующих вопросов и, при согласии, перевести на физического оператора контакт-центра, который доведёт опрос до конца.

Соревнование проводит ООО «Системы информации и связи», сервис SURVEYSTUDIO/DEX. Мы являемся индустриально значимой технологической площадкой, объединяющей сотни исследовательских контакт-центров России и крупнейших федеральных заказчиков. В среднем через наше оборудование в месяц проходит около 300 млн вызовов. Масштаб и разнообразие присутствующих на платформе проектов, а также накопленный опыт взаимодействия со всеми участниками рынка позволяет нам выполнять роль организатора такого рода соревнований.

Тезисы и правила

Положение о судействе
  1. Задача Спартакиады – тестирование возможностей роботов-рекрутеров. Робот должен убедить респондента ответить на несколько вопросов и перевести звонок на оператора контакт-центра.
  2. Голос, а также используемые сценарии представления респонденту участники соревнования определяют самостоятельно. Однако в любом сценарии обязательно должно быть упоминание о том, что опрос проходит в рамках социологического исследования и займёт не более 10-15 минут. Категорически запрещено вводить респондента в заблуждение тем или иным способом, например, обещать вознаграждение.
  3. Обработка возможных различных динамических ситуаций в ходе разговора (уточнения, просьбы повторить ответ, ответы робота на вопросы респондента и т.д.) определяется участниками соревнований самостоятельно.
  4. Оцениваться будут исключительно технические возможности роботов. Оценка является количественной и будет производится в автоматическом режиме. Коммерческая составляющая проекта, а также стоимость использования участвующих роботов, в расчётах не применяется.
  5. Соревнования проходят в системе SURVEYSTUDIO/DEX. Для всех участников формируется одна группа операторов контакт-центра, настраивается общий проект, в который будет загружена единая для всех сгенерированная база контактов. Это позволит обеспечить равномерное и случайное распределение вызовов среди роботов-рекрутеров.
  6. Каждый робот будет получать 200 баллов за одного успешно рекрутированного респондента (который был переведен на оператора контакт-центра и действительно был согласен участвовать в опросе). За каждый ошибочный перевод (автоответчик или человек, который на самом деле не дал согласия на участие, но был переведён на оператора) робот
  1. теряет 50 баллов. Каждая затраченная минута связи – минус 1.32 балла. Победитель будет определен итоговой суммой баллов за все время работы проекта. Начисление баллов роботам будет отображаться динамически и транслироваться онлайн таким образом, чтобы каждый из участников видел в режиме реального времени свое местонахождение в турнирной таблице и при необходимости мог корректировать работу робота.
  2. 12 августа состоятся квалификационные тесты. Они полностью повторяют основные соревнования, однако результаты первого дня не принимаются в зачёт соревнований. Задача квалификационных тестов – отладка работы роботов, взаимодействия API, корректировка на основе сравнения своих показателей с другими участниками.
  3. 13 августа – день основных соревнований роботов. Победитель будет определен автоматически в момент окончания соревнования.
  4. 16 августа в Москве состоится встреча организаторов, спонсоров и участников Спартакиады, на которой будут подведены итоги соревнования, а также все присутствующие смогут публично или приватно обсудить коммерческое применение продемонстрированных технологий. Встреча будет закрытой, на ней смогут присутствовать только организаторы, спонсоры и участники Спартакиады.
  5. После завершения основного этапа соревнований до 16 сентября 2024 года организаторы проводят расшифровки и глубокий анализ работы роботов. Будет проанализировано количество ложных срабатываний детекторов автоответчиков (например, живой респондент был определен, как автоответчик), неверные простановки результатов вызовов (например, респондент был согласен на опрос, но был отмечен отказ) и иные важные метрики. По итогам этого анализа состоится формирование окончательного отчёта, который будет опубликован на сайте мероприятия.

Организаторы и спонсоры

Положение о спонсорах