Математические постановки задач обучения LLM, RL, федеративная оптимизация. Александр Безносиков.

Градиентный спуск изобрёл Коши в 1847 году. Метод тяжёлого шарика из 1964-го сейчас в PyTorch. Adam — это momentum + адаптивность. Искусственный интеллект — не магия, а красивые математические трюки. Разбираемся, какие именно. Александр Безносиков — кандидат физ.-мат. наук, заведующий четырьмя лабораториями (МФТИ, МФТИ-Яндекс, ИСП РАН, Иннополис), лауреат премий «Лидеры ИИ» и Yandex ML Prize, автор 75+ статей — показывает математику под капотом ML: от оптимизации до дифференциальной приватности и обучения с подкреплением. ⏱️ Таймкоды: 0:00 — Вступление, конференция «Математика добра» 1:15 — Представление Александра Безносикова 2:28 — Сюжет 1: Ускорение — задачи оптимизации 4:55 — Аналитическое решение vs итеративный подход 7:51 — Коши (1847) и изобретение градиентного спуска 10:06 — Борис Полик и теория сходимости 12:43 — Метод тяжёлого шарика: ускорение в √ раз 18:22 — Как метод 1964 года оказался в PyTorch 25:09 — Сюжет 2: Адаптивность 27:28 — Субградиенты для негладких функций 31:04 — Немировский: проблема неизвестных констант 38:06 — AdaGrad: замена констант на вычисляемые значения 44:10 — RMSProp: метод из лекции Хинтона 46:28 — Adam: momentum + адаптивность 49:30 — DOG и Prodigy: методы без подбора гиперпараметров 52:36 — Сюжет 3: Дифференциальная приватность 56:42 — Пример Netflix: почему анонимизация не работает 1:00:46 — Выход не должен зависеть от одного объекта 1:06:49 — Зашумление как способ защиты 1:09:13 — Сюжет 4: Зеркальный спуск и RL 1:11:53 — Идея...