Инженер Брюс Ли проверил Mercury 3 на 637 задачах программирования, по пять попыток на каждую. При переходе от слабого к сильному режиму рассуждения доля правильных ответов снизилась с 86% до 81,4%. В слабом режиме 1,4%, а в сильном 8,6% запросов исчерпали лимит в 32 768 токенов, так и не выдав видимого ответа.

Это отдельная проверка недавно выпущенной диффузионной модели, а не новые замеры её производителя. Ли изложил результаты 23 октября; подробный отчёт включает опыты 20–22 октября. В слабом режиме Mercury отвечала за медианные 0,83 секунды против 0,97 у Claude Haiku 5.5 без рассуждения, при почти одинаковой точности. Но gpt-oss-120b на оборудовании Cerebras отвечала примерно за 0,35 секунды при результате 84,9%.

Усиленное рассуждение оказалось дороже и чаще оставляло пользователя ни с чем. Даже в слабом режиме тысяча правильных ответов Mercury обходилась в $0,59 по стартовому тарифу против $0,07 у GPT-6 Luna без рассуждения. Это расходы на запросы к каждой модели, разделённые на число её успешных ответов.

Код и сводки опубликованы, сырые журналы в репозиторий не включены. Опыт проведён с одного компьютера на западе США через разные облачные сервисы; задачи могли попасть в обучение. Он сравнивает готовые продукты и не устанавливает, вызвано ли зацикливание самой диффузией или обучением Mercury.