Исследователи Prefrontal AI и ETH Zurich представили LSA — метод, ускоряющий обработку очень длинного контекста языковыми моделями. В препринте от 30 октября они проверили его на последовательностях до 10 млн токенов — фрагментов текста, которыми оперирует модель.

Даже разреженное внимание, использующее лишь часть истории, может тратить основное время на поиск нужных фрагментов. Этот барьер встречался и у Naive-N0.5-Flash. LSA группирует внутренние представления текста по сходству: модель ищет подходящие группы вместо перебора всей истории.

В опыте авторов вариант D-LSA Flat сократил ожидание первого токена Qwen-3.8-27B в 9,2 раза, время генерации следующих — в 2,9 раза относительно полного внимания. Это замер всей модели через SGLang на восьми H200 при контексте 10 млн токенов: запросы выполняли по одному, брали медиану трёх запусков.

Качество в проверенных задачах преимущественно оставалось близким к исходному, но одинакового выигрыша нет. У GLM-5.3-Flash точность на контексте 2–5 млн токенов была до восьми пунктов ниже исходной; на более коротких входах некоторые режимы замедлялись. Весь кэш контекста по-прежнему нужно хранить.

Результат показывает способ уменьшить вычислительную цену длинной истории, а не гарантировать её безошибочное понимание. Пока это измерения авторов препринта; независимого воспроизведения и доступности заявленного кода подтвердить не удалось.