Domyn 20 октября выпустила первый открытый пакет Domyn Edge — языковой модели примерно на 4 млрд параметров, обученной на европейском суперкомпьютере Leonardo. Вместе с весами доступны промежуточные версии, часть обучающих данных и код для продолжения обучения. Это позволяет исследовать, как менялись способности модели по ходу её создания, а не судить о них только по готовому результату.

Объём раскрытых данных меньше, чем можно заключить из названия набора «8.4T». По карточке на Hugging Face, опубликованы 7,59 трлн токенов из 8,44 трлн, использованных на первом этапе. Токены — единицы, на которые модель разбивает текст; в этот подсчёт входят и повторные предъявления части научных документов. Около 853 млрд токенов программного кода пока удержаны: Domyn собирает сведения об авторстве и происхождении каждого файла. Данные последующих этапов ещё не выпущены, тогда как всё обучение охватывало около 13 трлн токенов.

Промежуточные версии показывают, почему финального файла с весами для изучения обучения недостаточно. По измерениям авторов на тесте работы с длинным контекстом RULER, один из этапов улучшил результаты, следующий частично их ухудшил, а дальнейшее обучение восстановило. Например, при контексте в 128 тысяч токенов оценка между двумя промежуточными этапами снизилась с 46,6 до 28,1. Самая поздняя версия не обязана быть лучшей по каждому показателю. Теперь сторонние исследователи могут проверять такие изменения на опубликованных состояниях модели; приведённые оценки пока принадлежат самой Domyn.

Код Domyn Forge включает описание модели, настройки и средства продолжения обучения. Он и промежуточные веса доступны под Apache 2.0. У исходных корпусов данных сохраняются собственные лицензии: отметка Apache 2.0 у набора относится к вкладу Domyn и не отменяет чужих условий. Авторы Forge также предупреждают, что инструмент находится на ранней стадии разработки и ещё не использовался в производственной эксплуатации.

Полностью воспроизвести весь путь обучения по нынешнему пакету пока нельзя. Domyn обещает отдельно выпустить оставшиеся наборы данных, модели-учителя и окончательную дообученную модель; технический отчёт заявлен на ноябрь. Уже доступный вариант SFT, настроенный на примерах ответов, — промежуточный результат до последующего обучения с подкреплением. Нынешний релиз открывает материал для экспериментов, но обещание раскрыть весь процесс ещё предстоит выполнить.