Команда EAGLE 20 октября представила EAGLE-4 — способ ускорить выдачу ответов языковой модели с помощью небольшой вспомогательной нейросети. Она предлагает несколько следующих токенов — фрагментов текста, — а основная модель проверяет их за один проход. Новая версия подбирает объём такой предварительной работы под конкретный GPU и число одновременных запросов.

Само спекулятивное декодирование существовало и раньше. Проблема в том, что длинная цепочка удачных догадок экономит вычисления, а неудачные предположения тратят время зря. При высокой нагрузке меняется и цена их проверки. EAGLE-Harness сначала измеряет затраты на данном оборудовании, а затем выбирает, насколько далеко и по скольким вариантам продолжения заглядывать вперёд: для одиночного запроса — более широкое дерево, под нагрузкой — короткие цепочки. Проверка основной моделью сохраняет распределение вероятностей её ответов; это способ быстрее получать результат, а не делать модель умнее.

В замерах AMD Qwen3.8-27B на одном MI355X в SGLang выдавала 289 токенов в секунду против 82 без ускорителя и 178 со встроенным предсказанием нескольких токенов MTP. Это тест SPEED-Bench на 88 диалогах, с весами BF16, включённым рассуждением и температурой 0. При 32 одновременных диалогах преимущество над MTP сократилось примерно до 9% по суммарной скорости. На четырёх NVIDIA B300 разработчики также показали ускорение, но коэффициент зависел от программного движка и нагрузки. Эти измерения участников разработки не обещают такого же выигрыша на любой модели и видеокарте.

Код EAGLE-Harness и веса помощника для Qwen3.8-27B уже доступны; предусмотрены интеграции с SGLang, vLLM и TokenSpeed. Вспомогательные веса сами по себе не заменяют основную модель. При этом публичный код распространяется по собственной лицензии Eagle 4 Source-Available, прямо обозначенной как не относящаяся к одобренным OSI open-source-лицензиям: доступный репозиторий здесь не означает отсутствие ограничений на использование.