Лекция №7 «Оптимизация нейронных сетей»

Седьмое занятие на курсе «Нейронные сети и их применение в научных исследованиях» для восьмого потока обучения. Преподаватель: Виктор Немченко Дата: 21.11.2024 00:00 Заставка 00:38 Улучшение сходимости нейросетей и борьба с переобучением 01:47 Трудности при обучении глубоких нейронных сетей 04:38 Затухание градиента 05:25 Нормализация входов и выходов 06:18 Нормализация целевых значений в задаче регрессии 08:12 Инициализация весов 11:06 Инициализация Ксавье (Xavier Glorot) 11:33 Инициализация Каймин Хе (Kaiming He) 11:45 Важность инициализации весов 12:29 Инициализация весов в PyTorch 13:12 Слои нормализации 14:00 Internal covariate shift 15:39 Batch Normalization 28:42 Другие Normalization 30:04 Регуляризация 30:13 L1, L2 регуляризации 30:27 Dropout 38:33 DropConnect 38:56 DropBlock 39:58 Batch Normalization до или после Dropout 42:32 Оптимизация параметров нейросетей 42:37 Обзор популярных оптимизаторов 01:01:52 Ландшафт функции потерь 01:02:19 Сравнение оптимизаторов 01:03:27 Режимы обучения. Ранняя остановка 01:04:12 Уменьшение скорости обучения на плато 01:05:51 Понижение скорости обучения на каждой эпохе 01:06:03 Neural Network WarmUp 01:06:43 Cyclical learning schedule 01:08:21 Model soup 01:14:20 Взаимодействие learning schedule и адаптивного изменения learning rate Материалы лекции: #MSU_AI#Фонд_Интеллект