Сообщество llm-d 20 октября выпустило версию 1.0 открытой системы для обслуживания языковых моделей на нескольких серверах. Проект развивают Google, IBM, Red Hat и другие участники. Главная новизна — управление совместной работой людей и ИИ-агентов: приоритетами запросов, продолжением сессий и обновлением работающего сервиса.

Агент может многократно отправлять модели один и тот же код или документ, делать паузу ради внешнего инструмента, а затем возвращаться с новой серией запросов. При обычном распределении нагрузки серверы заново обрабатывают уже знакомый контекст, а всплеск фоновых заданий задерживает ответы людям. llm-d направляет запросы туда, где контекст уже сохранён, и регулирует доступ к вычислениям.

В 1.0 появились стабильные программные интерфейсы и средства обновления связанных серверов без разрыва активных сессий. Google описывает также новый обработчик фоновых задач: он использует свободные мощности с учётом квот и приоритетов интерактивных запросов. На конференции компания показала работу тысячи агентов через одну точку входа на смешанном наборе TPU и GPU. Это демонстрация участника проекта, а не независимый тест надёжности.

Система работает поверх серверов моделей vLLM и SGLang; нужные компоненты можно включать в собственную инфраструктуру по отдельности. IBM отдельно подчёркивает, что основные способы ускорения уже существовали в прежних версиях: новый выпуск объединяет их со средствами повседневной эксплуатации. Практический смысл — больше контроля над собственным сервисом ИИ; универсального снижения стоимости или улучшения ответов моделей сам номер 1.0 не доказывает.