Оптимизаторы нейронных сетей | SGD, RMSProp, Adam | keras.optimizers | НЕЙРОННЫЕ СЕТИ 8

Поддержать канал можно оформив подписку на 💻 Мои курсы на платформе Stepik: ❓ Вопросы, на которые найдем ответы в этом видео: - Какие есть оптимизаторы? - Какие есть особенности в SGD, Momentum, AdaGrad, RMSProp, Adam? - Какие есть преимущества и недостатки оптимизаторов? 0:00 Введение 0:19 План занятия 0:45 Задача на сегодня 1:38 Самая простая нейронная сеть 2:28 Визуализация ошибки MSE от весов нейронной сети 3:57 Градиентный спуск GD 4:17 Градиент ошибки MSE 6:06 Алгоритм градиентного спуска 7:12 Реализация градиентного спуска 10:11 Стохастический градиентный спуск SGD 10:57 Алгоритм стохастического градиентного спуска (SGD) 11:31 Реализация стохастического градиентного спуска (SGD) 13:37 Визуализация стохастического градиентного спуска 14:10 Mini-Batch стохастический градиентный спуск 14:44 Алгоритм Mini-Batch стохастического градиентного спуска 14:55 Реализация Mini-Batch стохастического градиентного спуска 16:01 Визуализация Mini-Batch стохастического градиентного спуска 16:27 Сравнение GD, SGD, Mini-Batch SGD 17:28 Визуальное сравнение GD, SGD, Mini-Batch SGD 18:32 SGD + Momentum, SGD с импульсом 22:28 Алгоритм SGD + Momentum 22:58 Реализация SGD + Momentum 24:36 Визуализация SGD + Momentum 25:13 Эксперименты с коэффициентом momentum SGD 26:51 SGD в Keras с momentum 27:22 AdaGrad 29:34 Алгоритм AdaGrad 30:03 Реализация AdaGrad 31:45 Визуализация AdaGrad 32:05 AdaGrad в Keras 32:30 RMSProp 33:42 Алгоритм RMSProp 34:15 Реализация RMSProp 35:41...