LLM Inference benchmark

Всем привет, с вами Низамов Илья. В мире 1С есть один очень популярный тест, который показывает сколько баллов выбивает ваше железо на бизнес задачах в 1С. Это тест Гилёва. И так как я переквалифицировался в ИИ разработчики то здесь тоже постоянно вижу схожие вопросы. LLM много, железа тоже, несколько основных инференсов которые позволяют запускать не только на GPU, но и на CPU+GPU. Есть каналы, которые выкладывают много тестов разного железа, но все равно они не могут охватить все многообразие. Поэтому я решил взять концепцию когда ты тестируешь что-то у себя локально, но можешь и поделиться результатами с сообществом, давая примерное понимание как будет вести себя определенная модель на определенном железе. В общем выкладываю бенчмарк инференсов и моделей, можете использовать полностью локально, но и делиться тоже не забывайте. Страничка с тестами и сам бенчмарк не окончательные, если есть пожелания, пишите, или дорабатывайте сами. Жду ваши отзывы в комментариях, всем удачи, пока! #нейросети