Москаленко А.В. - Зимняя школа ИИ 2026 - 3. Мультимодальные LLMs в робототехнике. Семинар

Мультимодальные LLMs в робототехнике. Семинар Москаленко Андрей Викторович 00:16 Введение. Доступ к серверам 03:44 Создание Conda-окружения 06:13 Введение в VLA-модели. Почему SmallVLA 09:00 Симулятор LIBERO: зачем симуляции, критерии успеха, параллельные эпизоды 11:32 Структура Observation 15:39 Action Space vs Joint Space 24:36 Подготовка входных данных 26:41 Цикл evaluation 28:21 Демонстрация работы: робот успешно кладёт банку в корзину за 140 шагов 33:33 Как считать Success Rate 38:34 Тест на Out-Of-Distribution 43:05 Данные для обучения. Bridge Dataset, Open X-Embodiment, Sim-to-Real 48:46 Почему Generalist-политики слабее fine-tuned, и как собирать свои траектории 51:22 Почему роботы не планируют наперёд? #deeplearning