Видеокарты не предел: как FreeToken ускоряет AI на домашнем ноуте
🎮 Видеокарты не предел: как FreeToken ускоряет AI на домашнем ноуте
Сидишь такой, листаешь ленту, и снова видишь, как какой-нибудь инженер из Калифорнии запускает свежую AI-модель на паре RTX PRO 6000, по цене как подержанная машина. А ты смотришь на свою скромную RTX 4060 в ноутбуке, купленном "не только для игр", и думаешь: ну не судьба. Но оказывается, это как раз для нас! На той самой ноутбучной 4060 с восемью гигабайтами памяти и урезанной вдвое PCIe-шиной можно получить 39,3 токена в секунду на 35-миллиардной модели — быстрее, чем медианная скорость декода Codex в продакшене.
Все дело не в железе, а в софте, который это железо использует. Разбираем FreeToken — движок для локального инференса MoE-моделей от команды, создавшей vLLM и SGLang. Этот движок помогает запускать более сложные модели даже на слабом железе, давая шанс каждому почувствовать себя великим AI-инженером, не выходя из дома.
◾️ Видеокарта: RTX 4060
◾️ Память: 8 ГБ
◾️ Скорость: 39,3 токена/сек
◾️ Модель: 35 миллиардов параметров
> "Запустить AGI на слабом железе — больше не мечта, а реальность", — говорит команда FreeToken.
Кто бы мог подумать, что будущее AI разработок может начаться с вашего ноутбука?
Подписаться на «Нейро Пульс»
Первоисточник ↗
Сидишь такой, листаешь ленту, и снова видишь, как какой-нибудь инженер из Калифорнии запускает свежую AI-модель на паре RTX PRO 6000, по цене как подержанная машина. А ты смотришь на свою скромную RTX 4060 в ноутбуке, купленном "не только для игр", и думаешь: ну не судьба. Но оказывается, это как раз для нас! На той самой ноутбучной 4060 с восемью гигабайтами памяти и урезанной вдвое PCIe-шиной можно получить 39,3 токена в секунду на 35-миллиардной модели — быстрее, чем медианная скорость декода Codex в продакшене.
Все дело не в железе, а в софте, который это железо использует. Разбираем FreeToken — движок для локального инференса MoE-моделей от команды, создавшей vLLM и SGLang. Этот движок помогает запускать более сложные модели даже на слабом железе, давая шанс каждому почувствовать себя великим AI-инженером, не выходя из дома.
◾️ Видеокарта: RTX 4060
◾️ Память: 8 ГБ
◾️ Скорость: 39,3 токена/сек
◾️ Модель: 35 миллиардов параметров
> "Запустить AGI на слабом железе — больше не мечта, а реальность", — говорит команда FreeToken.
Кто бы мог подумать, что будущее AI разработок может начаться с вашего ноутбука?
Пока нет комментариев — будьте первым.