Исследователи Иллинойсского университета в Урбане-Шампейне представили ClaimNov — ИИ-фильтр, который проверяет новизну научной идеи по отдельным утверждениям. Препринт вышел 27 октября, код и данные доступны на GitHub. Задача — отсеивать повторы, сохраняя работы, где новый результат сочетается с уже известным.

ClaimNov разбирает исследовательское предложение на отдельные утверждения, сопоставляет их с предоставленной литературой и передаёт найденные совпадения модели-судье. Та решает судьбу всей идеи. Это позволяет показать, какая часть уже известна, не отбрасывая автоматически всю работу.

В опытах авторов фильтр распознал 367 из 380 замаскированных копий статей. Среди 400 идей, размеченных как новые относительно выбранной литературы и позднее реализованные исследователями, он отклонил 1,5%; тот же судья без разбора утверждений — 11,8%. Из 100 предложений, куда специально добавили известный вклад, ClaimNov сохранил 91, ближайший соперник CoI-Agent — 76. На основной задаче различие с CoI-Agent статистически не подтвердилось.

Но эталон новизны тоже несовершенен: идеи и значительную часть разметки создавали языковые модели. При ручной проверке 45 «новых» идей люди подтвердили новизну лишь 28. Проверяли англоязычные исследования ИИ в заранее собранных наборах литературы, а не поиск по всей науке. Работу метода при свободном поиске литературы и в других научных областях ещё предстоит проверить.