На PS4 запустили модель на 9 млрд параметров — без компьютера и облака
Новость опубликована 17.11.2026 ⦁ источник
Леонардо Алегрия / Garlic LLM — скриншот приложения
Для PlayStation 4 вышел Garlic LLM — бесплатное приложение Леонардо Алегрии, которое запускает языковую модель Qwen3.5-9B на графическом процессоре самой консоли. После установки ему не нужны ни внешний компьютер, ни облачный сервер. Первую публичную версию 1.19 автор выложил 11 ноября; 16–17 ноября появились пользовательские отчёты о работе на PS4 Pro и Slim.
Главная инженерная задача здесь — заставить старое игровое железо выполнять вычисления модели с девятью миллиардами параметров. Для неофициальных приложений PS4 нет готового интерфейса таких вычислений, поэтому Garlic LLM сам формирует низкоуровневые команды GPU и использует специально написанные вычислительные ядра. Веса модели хранятся с точностью 3 и 4 бита: по объяснению автора, даже полностью четырёхбитная версия потребовала бы ещё 384 МиБ, которых приложению уже не хватает. Сжат также кэш контекста — это позволяет вместить разговор до 16 тысяч токенов.
Автор указывает скорость 31–39 токенов — фрагментов текста — в секунду на базовой PS4/Slim с прошивкой 11.52. Это скорость выдачи ответа, а не время от включения консоли до первого слова. В отчёте пользователя от 17 ноября версия 1.19 на PS4 Slim CUH-2215B с прошивкой 12.50 загружала модель около 40–45 секунд, а затем выдавала 30–40 токенов в секунду, в том числе при заполнении примерно четверти контекста. Это отдельный пользовательский опыт, а не стандартизированный независимый тест качества и быстродействия.
Готовый пакет занимает около 5,7 ГБ и включает модели для чата, распознавания речи и озвучивания; среди языков голоса есть русский. Но из PlayStation Store его не установить: нужна консоль с GoldHEN, средой для запуска неофициального ПО на взломанной PS4. Поэтому результат пока предназначен для энтузиастов с подходящей системой. При этом новая функция уже доступна в виде приложения с открытым кодом: старая консоль может сама обрабатывать разговор, без передачи запросов внешнему сервису.
Техника и гаджеты AI PlayStation 4, Garlic LLM, Qwen3.5-9B, Леонардо Алегрия, GoldHEN, Локальный инференс