Большой тест видеокарт для инференса Llama 3 70b 8b. RTX 4090 3090 A100 H100...

В этом видео массовое тестирование видеокарт для нейросетей. В тесте участвуют две нейросети: Llama 3 8b и Llama 3 70b. Тестируются игровые видеокарты разных поколений: Nvidia RTX 4090, RTX 3090, RTX 3090 ti, RTX 2080 ti. Среди серверных карт тестируются Nvidia A100, Nvidia H100. GPU сервера immerse cloud: Бенчмарк из видео для тестирования: LLama 3 8b 70b api: Таблица с результатами(В дальнейшем заметил, что на производительность может сильно влиять версия софта и параметры запуска. Используйте бенчмарк только для оценки): Таймкоды: 0:00 описание теста 0:59 immerse cloud 1:20 стоимость аренды видеокарт 2:45 LLM токены и промпты 4:25 Llama 8b instruct 11:15 Llama 70b instruct 14:40 энергопотребление 15:25 покупка видеокарт 17:44 Llama 3 API 19:04 codeGPT - плагин для pycharm Реклама. ООО «ДТЛ». ИНН 9717073792. erid: LjN8K1Rvg