Nubank выбрала новую модель для своего агента поддержки после испытаний на искусственных клиентах. В живом A/B-тесте конфигурация Qwen3.5-122B-A10B с включённым рассуждением повысила долю обращений, завершённых без оператора, на 8,82 процентного пункта: 95%-й доверительный интервал — 7,95–9,69 пункта, выборка — 8,4 тысячи сессий. Задержка p95 снизилась на 25%, а оценка удовлетворённости статистически не изменилась.

Раньше кандидатов приходилось проверять вручную либо сразу на клиентах. В препринте от 24 сентября команда Nubank и Guardrails AI описала промежуточный слой: Snowglobe создаёт персонажей, реагирующих на ответы агента, а вызовы банковских инструментов получает от имитатора. Так проверили 29 конфигураций в более чем 16 тысячах разговоров; сто траекторий генерировались менее чем за десять минут.

Отдельный тест более широкого перехода от Card Delivery к Card Management дал +4,90 пункта самообслуживания и +36,69 пункта tNPS, после чего нового агента открыли клиентам Nubank в Бразилии. Но здесь одновременно менялись архитектура, подсказки и инструменты, поэтому весь прирост нельзя приписать симуляции или одной модели.

Искусственные клиенты остаются фильтром, а не заменой живого испытания. Их разговоры были заметно длиннее реальных, а Snowglobe верно сохранил лучшие и худшие из четырёх версий, но поменял местами две средние. Кроме того, имитатор останавливается на границе инструментов и не проверяет состояние банковских систем, побочные эффекты и задержки. Это препринт самой Nubank и Guardrails AI без независимого воспроизведения; подтверждён результат конкретного агента поддержки, а не универсальная точность синтетических пользователей.