От теории к практике LLM‑модель для self‑hosted: бенчмарки, вайб‑чеки

Говорим простым языком о том, что на самом деле определяет, будет ли ваша локальная модель работать нормально: какое железо выбрать: от «домашних» игровых GPU до серверных решений и альтернатив NVIDIA; какие фреймворки использовать для инференса и почему TensorRT‑LLM, VLLM и llama.cpp — это разные миры; чем архитектуры Mixture of Experts отличаются от «плотных» моделей и зачем нужно спекулятивное декодирование; почему квантизация в 4 бита стала практической «магической точкой» и когда можно опускаться до Q2 без катастрофы по качеству; с какими реальными проблемами сталкиваются команды в Enterprise, когда пытаются всё это запускать и поддерживать своими силами. #LLM