Исследователи Городского университета Гонконга предложили Neural Spectral Capacity — способ оценивать архитектуру нейросети только по её устройству. В опыте со структурным сжатием LLaMA-7B метод за 0,46 секунды выбрал вариант на 5,7 млрд параметров. После обычной проверки на восьми задачах он набрал в среднем 65,47 балла — больше четырёх других сжатых вариантов в сравнении авторов, но меньше исходной модели с 69,72 балла.

Обычные показатели числа параметров и вычислительных операций не различают сети одинакового размера с разной глубиной, шириной и числом голов внимания. Другие методы быстрой оценки часто всё равно загружают веса, берут небольшую выборку данных или запускают модель. NSC вместо этого рассчитывает спектральную «ёмкость» матриц из их размеров и параметров инициализации, а затем складывает оценки слоёв. Благодаря этому поиск подходящей конфигурации превращается в задачу динамического программирования.

На 500 вариантах BERT оценка NSC сильнее совпадала с итоговым качеством, чем число параметров, FLOP и четыре других метода: коэффициент Кендалла составил 0,695 против 0,485 у числа параметров и 0,635 у ближайшего конкурента. В другом опыте система за две секунды на одном ядре CPU нашла конфигурацию Transformer-XL с перплексией 23,087 против 23,279 у ручной базовой архитектуры. Авторы открыли код под лицензией MIT.

Это не обучение нейросети «из ничего»: без данных и градиентов проходит только выбор конфигурации, а её качество затем измеряют на уже обученных моделях и обычных наборах задач. Метод проверили на семи семействах Transformer и CNN внутри заранее заданных пространств поиска; независимого воспроизведения результатов пока нет. Поэтому работа показывает быстрый способ ранжировать и сжимать известные архитектуры, но не универсальный рецепт идеальной нейросети.