Together AI 4 ноября представила Together Compiler: ИИ-агенты переписывают вычислительный код, которым облачный сервис запускает нейросети. По сообщению компании, система уже работает на популярных API, а оптимизация новых моделей занимает меньше суток вместо недель ручной работы.

При смене модели, оборудования или характера запросов настройку приходится повторять. Compiler предлагает изменения кода, а отдельный движок проверяет скорость и совпадение результатов с исходной реализацией. Код можно подменять без полного перезапуска движка, поэтому агенты быстрее испытывают варианты. Удачные решения сохраняются для следующих запусков.

В замерах Together на четырёх моделях и ускорителях NVIDIA Blackwell оптимизированный движок выдавал до 2,6 раза больше токенов на GPU при сопоставимой скорости ответа отдельному пользователю. На оптимизацию каждой модели отводились 24 часа и два вычислительных узла. Это результат испытаний поставщика для определённых нагрузок; универсальное ускорение любого запроса из него не следует.

На общем API оптимизация включена по умолчанию для GLM 5.3, GLM 5.3 Flash и DeepSeek V4.1 Flash, цена не меняется. Для выделенных развёртываний нужно обратиться к команде Together; самостоятельная настройка ещё обещана. Практический результат здесь — более эффективное исполнение существующих моделей, без заявления об улучшении их знаний или рассуждений.