В новом тесте Quant-Arena только один из 38 вариантов торговых стратегий, созданных девятью ИИ-моделями при разных настройках глубины рассуждений, обогнал рыночный ориентир на данных за 2024 год. Прибыльными оказались 13 вариантов. Команда Navers Lab из Einsia.AI опубликовала препринт 21 октября: она проверяла весь цикл исследования — от написания программы до её результата на отдельном историческом периоде.

Модели получали данные по 3042 китайским акциям за 2022–2023 годы, писали код отбора бумаг и могли проверить до пяти вариантов, используя обратную связь для исправлений. Затем одну программу фиксировали и проверяли на 2024 годе; результаты этой проверки модели уже не получали для доработки. Симулятор собирал портфель с целевым числом 75 акций и учитывал торговые ограничения и издержки. Рыночный ориентир — доходность всех бумаг выборки с равными весами — рассчитывался до издержек, Для стратегий и ориентира издержки, таким образом, учитывались по-разному.

Единственное превышение ориентира показала GPT-6 Sol со средней глубиной рассуждений: 18,4% против 17,1%. По суммарному баллу, учитывающему несколько показателей, победила GPT-6 Astra с доходностью 10,7%. Её программа подолгу оставалась вне рынка: максимальная просадка составила 6,8%, тогда как у обогнавшего рынок варианта Sol — 35,9%. Лучший балл, наибольшая доходность и меньший риск здесь оказались разными результатами. Формула аннотации "ни одна модель не обогнала рынок" опускает исключение, прямо указанное в полной таблице и выводах работы.

Исправления по обратной связи тоже помогали не во всём. При сравнении лучших по суммарному баллу вариантов каждого режима итерации повысили этот балл у всех девяти моделей, а доходность на отдельном периоде — лишь у четырёх. Более высокая глубина рассуждений также не давала последовательного улучшения. Тест отделяет умение написать работающую стратегию и подогнать её под известные данные от результата на следующем периоде.

Это пока оценка создателей теста, без найденного независимого воспроизведения: один исторический год на одном рынке, а не торговля реальными деньгами. Авторы также показывают превосходство собственной закрытой стратегии Kepler-1, поэтому её место в таблице нельзя принимать за независимое доказательство качества продукта. Результат Quant-Arena ограничивает конкретные обещания ИИ-трейдинга, но не доказывает ни невозможности прибыльной ИИ-стратегии, ни её устойчивости в будущем.