Революция Marco-MoE

Долгое время нам внушали, что мощный искусственный интеллект — это удел богатых корпораций с гигантскими серверами. Но сегодня правила игры меняются навсегда. В этом видео мы разбираем настоящую революцию от Alibaba — многоязычное семейство моделей Marco MoE, а именно их невероятно эффективных помощников: Marco Mini и Marco Nano. Как запустить ИИ на 17 миллиардов параметров на обычной домашней видеокарте, чтобы она не сгорела? Секрет кроется в гениальной архитектуре Mixture of Experts (MoE). Это работает как команда Мстителей: вместо того чтобы нагружать весь гигантский мозг сразу, модель зовет на помощь только нужных узких специалистов, пока остальные экономят энергию. В итоге Marco Mini для решения задачи активирует менее 1 миллиарда параметров из 17 возможных, а крошечный Marco Nano использует всего 7,5% своей мощности. В этом ролике мы заглянем «под капот» и разберем два инженерных чуда: Систему Expert Cache — умный алгоритм, который заранее угадывает нужных экспертов и снижает потребность в видеопамяти (VRAM) на безумные 85%! Движок MNN — сверхмощный реактивный двигатель весом менее 1 мегабайта, позволяющий запускать ИИ автономно даже на слабых устройствах. Забудьте про платные подписки и облака. Наступает эпоха полной конфиденциальности, где вся вычислительная мощь работает без интернета прямо на вашем железе! 👇 Таймкоды для удобства зрителей: 00:00 — ИИ совершает побег: конец эпохи гигантских дата-центров. 01:10 — Цифровой бунт: знакомимся с открытыми моделями Marco...