Nvidia 23 октября выпустила Nemotron 3.5 Bolt E4B 4GB — небольшую языковую модель для локальных помощников, которые поддерживают разговор и вызывают функции приложений. Она дообучена на основе Gemma 4 E4B; веса доступны для скачивания и коммерческого использования по OpenMDW 1.1. Это текстовая модель: распознавание речи и озвучивание ответов для голосового помощника нужно подключать отдельно.

По данным разработчиков, дообучение улучшило удержание условий беседы на протяжении нескольких реплик. В собственных тестах Nvidia сжатая версия Q4_K_M получила в MultiChallenge 55,6 балла против 39,36 у такой же версии исходной Gemma. Но улучшение не повсеместное: в EQ-Bench v3, проверяющем эмоциональное понимание в ролевых диалогах, Bolt уступила базе — 38,15 против 39,77. В тесте вызова инструментов BFCL-v3 Qwen 3.5 4B набрала 70,56 против 67,31 у Bolt.

«4GB» в названии тоже не означает одинаковый расход памяти при любом разговоре. По замерам компании, на RTX 5070 сжатая модель занимала 3,5 ГБ видеопамяти при запросе на 3000 токенов и коротком ответе на 50 токенов; первый токен появлялся примерно через 0,55 секунды. С сохранённым контекстом на 32 тысячи токенов расход вырос до 4,3 ГБ. На Jetson Orin Nano в коротком сценарии потребовалось 4,2 ГБ и около 5,8 секунды до начала ответа. Измерения выполнены в llama.cpp при обработке одного запроса за раз.

Разработчик может выбирать режим с рассуждением или без него и включать краткие разговорные ответы. Это даёт основу для собственного помощника на устройстве, но качество готового продукта будет зависеть ещё от подключённых инструментов, речевых моделей и выбранного оборудования. Опубликованные результаты описывают испытания Nvidia, а не независимую проверку всей такой системы.