DeepSeek 20 октября открыла DeepInfer — программный движок, который, по описанию компании, обслуживает её крупномасштабный ИИ-сервис. Код опубликован под Apache 2.0; текущий выпуск поддерживает DeepSeek-V4.1-Flash на ускорителях NVIDIA SM100 и Huawei Ascend 950.

Веса модели сами по себе не решают задачу её эффективного запуска. Нужно распределять вычисления между устройствами, готовить очередную порцию работы, ускорять генерацию и соблюдать запрошенный формат ответа. В сентябре DeepSeek уже открыла вычислительные и коммуникационные библиотеки. Теперь к ним добавился движок, который объединяет эти операции при выполнении модели.

DeepInfer умеет распределять работу между ускорителями, предварительно предлагать несколько токенов и затем проверять их, а также ограничивать ответ заданной JSON-схемой или грамматикой. Для NVIDIA предусмотрены режимы, позволяющие сохранять результат при изменении состава пакета запросов и воспроизводить генерацию при одинаковых входных данных и настройках.

Одновременно компания открыла DeepSeek Recipe: библиотеки переводят запросы разных API в формат модели, а её выход — обратно в ответы приложения. По объяснению DeepSeek, обработка согласована с официальным API. Это даёт сторонним разработчикам опубликованную реализацию ещё одной части сервиса, которую иначе пришлось бы воспроизводить самостоятельно.

Пока открытая версия DeepInfer предназначена для автономного выполнения подготовленных запросов. Для полноценного онлайн-сервиса в ней не хватает системы хранения кэша контекста, разделения стадий обработки между серверами и распределения нагрузки между копиями модели. Компания объясняет неполное раскрытие части компонентов их связью с внутренней инфраструктурой. Поэтому релиз расширяет возможности собственного развёртывания DeepSeek, но готовую копию её облачного сервиса одной командой не устанавливает.