Тихомиров М.М. - Обучение больших языковых моделей - 8. Инференс, квантизация

Аватар автора
Инференс, квантизация Тихомиров Михаил Михайлович 00:17 Представление чисел 01:25 Квантизация 04:02 Absmax 05:24 Zero-point 07:38 Выбросы 09:00 LLM. int8 12:26 NF4 14:22 GGUF 17:41 AWQ 21:34 Феномен «супер весов» 27:21 Инференс 31:55 Характеристики 39:17 Пример (HF + transformers: генерация) 47:08 VLLM: генерация 54:27 SGLang 58:23 llamacpp 01:00:55 ollama #artificial_intelligence

0/0


0/0

0/0

0/0

0/0