Мини-ПК Beelink GTR9 Pro: скорость, ошибки и уроки
🤖 Мини-ПК Beelink GTR9 Pro: скорость, ошибки и уроки
Вот какой замес получился с Beelink GTR9 Pro на базе Ryzen AI Max+ 395. Этот мини-ПК, словно маленький спринтер, выдает 236 токенов в секунду при 32 одновременных запросах. И это не просто кратковременный всплеск энергии: в течение получаса он стабильно держит 226 токенов в секунду без намека на перегрев или сбой. Однако, как говорится, не все коту масленица. Я столкнулся с внезапными провалами в производительности и увидел, как спекулятивный декодинг, вместо ускорения работы, превратился в тормоз.
И хоть трижды я чуть было не сделал неправильные выводы, контрольные замеры спасли ситуацию. Всё, что я выяснил, включая конфигурации, таблицы и телеметрию, доступно в открытом репозитории. Правда, логи отдельных запросов не сохранились, так что углубиться в отдельные прогоны не получится. Однако, на что точно стоит обратить внимание, так это на универсальность этих данных — не всё из этого можно применить к другим системам.
◾️ Процессор: Ryzen AI Max+ 395
◾️ Производительность: 236 tok/s на 32 одновременных запросах
◾️ Средняя скорость: 226 tok/s за 30 минут
> "Спекулятивный декодинг — это когда ускорение становится неожиданным налогом."
Такой мини-ПК — это вам не игрушка, а серьезный инструмент! Готовы попробовать его в деле?
Подписаться на «Нейро Пульс»
Первоисточник ↗
Вот какой замес получился с Beelink GTR9 Pro на базе Ryzen AI Max+ 395. Этот мини-ПК, словно маленький спринтер, выдает 236 токенов в секунду при 32 одновременных запросах. И это не просто кратковременный всплеск энергии: в течение получаса он стабильно держит 226 токенов в секунду без намека на перегрев или сбой. Однако, как говорится, не все коту масленица. Я столкнулся с внезапными провалами в производительности и увидел, как спекулятивный декодинг, вместо ускорения работы, превратился в тормоз.
И хоть трижды я чуть было не сделал неправильные выводы, контрольные замеры спасли ситуацию. Всё, что я выяснил, включая конфигурации, таблицы и телеметрию, доступно в открытом репозитории. Правда, логи отдельных запросов не сохранились, так что углубиться в отдельные прогоны не получится. Однако, на что точно стоит обратить внимание, так это на универсальность этих данных — не всё из этого можно применить к другим системам.
◾️ Процессор: Ryzen AI Max+ 395
◾️ Производительность: 236 tok/s на 32 одновременных запросах
◾️ Средняя скорость: 226 tok/s за 30 минут
> "Спекулятивный декодинг — это когда ускорение становится неожиданным налогом."
Такой мини-ПК — это вам не игрушка, а серьезный инструмент! Готовы попробовать его в деле?
Пока нет комментариев — будьте первым.