Sierra 22 октября опубликовала результаты τ-Entity — проверки того, насколько точно голосовые ИИ записывают сведения из разговора. Лучший результат среди трёх проверенных систем показала GPT Live 1: 60,3% успешных звонков в обычных условиях. Но правильно выполнить одно и то же задание во всех трёх звуковых условиях ей удалось лишь в 34% случаев.

В тесте 200 заданий на десять типов данных: имена, номера телефонов, адреса, электронную почту и другие значения. За звонок нужно заполнить одно поле. Собеседника имитирует программа; он сотрудничает с агентом и по запросу правильно диктует значение по буквам. Проверка охватывает шесть языков, а устойчивый успех требует пройти обычный разговор, разговор с сильным шумом и разговор с посторонней речью.

Gemini 3.8 Live и Grok Voice Think Fast 2.0 справились соответственно с 43,8% и 44,2% обычных звонков; во всех трёх условиях — с 19,5% и 24%. На английском GPT Live 1 заметно успешнее: 74% и 47,5%. Для корейского устойчивый успех трёх систем составил 3,5–8,5%, для китайского — 12,5–24,5%. Русского в проверке нет.

Октябрьская публикация развивает сентябрьскую работу τ-Elicitation, а не представляет весь эксперимент впервые. В той работе обязательная последовательность «спросить, перепроверить, исправить, подтвердить» повышала устойчивый успех на 14–31 процентный пункт, но удлиняла звонок на 21–28 секунд. Даже после перепроверки исправлялись лишь 24–37% первоначально неверно записанных значений.

Это отдельная задача от распознавания готовой записи: агенту нужно самому запросить сведения, заметить сомнение и сохранить правильное значение. По правилам теста, неверное или пропущенное поле означает провал. Результаты получены авторами на контролируемых разговорах; они не измеряют долю ошибок в действующих кол-центрах.