Запускаем LLM локально на своем ПК за 15 минут!

В этом видео мы пошагово разбираем, как запустить большую языковую модель на своем компьютере с помощью llama.cpp и Docker. Мы запускаем LLaMA 3 8B Instruct в варианте Q2_K, которая достаточно легкая, чтобы работать даже на ноутбуке. Показан запуск inference-сервера, а также установка и использование Open WebUI — интерфейса, аналогичного ChatGPT, для удобной работы с моделью в браузере. Все действия показаны на macOS, но благодаря Docker инструкции актуальны и для Windows и Linux. В конце видео вы сможете повторить всё самостоятельно и запустить языковую модель на своем устройстве.