Лекция №8 "Архитектуры нейронных сетей"

Восьмое занятие на курсе «Нейронные сети и их применение в научных исследованиях» для восьмого потока обучения. Преподаватель: Виктор Немченко Дата: 28.11.2024 00:00 Заставка 00:38 Базовые компоненты свёрточных сетей 03:42 ImageNet 07:28 Baseline (AlexNet 2012) 15:36 Базовый блок (VGGNet 2014) 18:26 Вычислительные ресурсы 26:13 Inception module (GoogLeNet 2014) 36:06 BatchNorm 36:55 Skip connection (ResNet 2015) 38:29 Архитектура ResNet 39:57 BasicBlock в PyTorch 41:36 Bottleneck layer 42:16 Stage ratio 42:47 Обучение ResNet 44:13 Grouped Convolution 47:33 Grouped Convolution in PyTorch 48:16 ResNeXt 49:21 Обзор сети MobileNet (2017 г.) 52:31 Сравнение моделей 54:14 Много skip connection (DenseNet 2016) 54:52 Ширина вместо глубины (WideResNet 2016) 55:16 Squeeze-and-Excitation (SENet 2017) 56:50 Поиск хорошей архитектуры 57:17 Обзор сети EfficientNet (2019 г.) 59:28 Трансформеры 01:01:24 ConvNext (2022) 01:03:27 Transfer learning 01:07:47 Torch Image Models (timm) 01:11:55 Custom feature extractor 01:14:03 Дистилляция 01:15:44 Soft targets Материалы лекции: #MSU_AI#Фонд_Интеллект