Aikido 21 сентября представила Altar — сжатую версию GLM-5.3 для проверки безопасности кода внутри собственной инфраструктуры. Веса опубликованы: они занимают 328 ГБ. Для запуска разработчики предлагают сервер с четырьмя Nvidia H200. Это ещё не модель для домашнего компьютера, но ей не нужен внешний сервис обработки запросов.

Проблема больших моделей со смесью экспертов в том, что на каждый токен работает лишь часть нейросети, а хранить приходится все её блоки. В Altar оставили 168 из 256 экспертов в каждом соответствующем слое; на токен по-прежнему выбираются восемь. Большинство весов этих блоков хранится с четырёхбитной точностью. По карточке модели, отбор экспертов учитывал код, работу с инструментами и многоязычные тексты, чтобы экономия не уничтожила нужные навыки. Дополнительного обучения при таком удалении блоков не проводили.

Сокращение имеет цену. Во внутреннем тесте Aikido на 32 известных уязвимостях в 30 репозиториях Altar в среднем находила 60,4% за попытку. Уже сжатая до четырёхбитного формата GLM-5.3 с весами 488 ГБ находила 61,5%, а исходная полноточная модель — 65,6%. За три попытки Altar и четырёхбитная GLM обнаружили хотя бы раз одни и те же 23 уязвимости; полноточная — 25. То есть дополнительное уменьшение весов примерно на треть сохранило охват этого теста, но немного снизило стабильность обнаружения.

Это измерения самого поставщика, а не независимая проверка. Испытание оценивало повторное нахождение известных ошибок в системе, где на вспомогательных этапах участвовали другие модели. Оно не проверяло самостоятельный поиск неизвестных уязвимостей по всей кодовой базе, исполнение способов взлома или качество исправлений.

Aikido сообщает, что уже использует Altar в своей локальной системе Machine, в том числе в изолированных сетях. Практический выигрыш — возможность оставить код у себя и сократить требования к памяти. Цена — собственное дорогое оборудование и измеримое снижение полноты обнаружения.