Домашний сервер на BTC79X5 и P104-100 x 5 для инференса LLM

Аватар автора
Bahamut
Треш-видео, не ждите ничего — не разочаруетесь! 4-6 ток/сек для 27B~32B Dense-моделей. 15-20 ток/сек для 30B-A3B MoE-модели. 300 ватт потребления и 35-45 децибел шума. И все это за 25к рублей! Н-н-нада? Сомнительно!

0/0


0/0

0/0

0/0