Секреты сборки компьютера для инференса LLM. Нейросети запускаем локально.

Делюсь своим опытом построения домашнего компьютера, специально предназначенного для запуска нейросетей. Основная нейросеть для запуска - Lama 3 70b instruct, качество которой сравнимо с ранними версиями GPT-4. В этой сборке используется 3 видеокарты 3090ti. GPU сервера immerse cloud: Большой тест видеокарт: Получить доступ к этому серверу по API : Таймкоды: 0:00 Llama 3. требования к видеокартам 0:35 immers.cloud 2:40 старый компьютер 3:00 материнская плата 3:17 корпус или каркас 3:47 pcie райзеры 4:36 влияние pcie на скорость LLM 6:25 процессор 6:48 оперативная память 7:15 диски 7:45 блок питания 9:52 доступ к моему серверу Реклама. ООО «ДТЛ». ИНН 9717073792. erid: LjN8KEP2v