нейронные сети - общая информация

00:00:00 Введение в PlayGround • PlayGround - лаборатория от TensorFlow для работы с нейронными сетями. • Позволяет интерактивно создавать и обучать нейронные сети в графическом интерфейсе. • Пример задачи: классификация точек на графике. 00:00:47 Обучение нейронной сети • Задача классификации: разделение точек на синие и желтые. • Параметры обучения: скорость, функции активации, регуляризация. • Использование гиперболического тангенса для функции активации. 00:01:55 Проблемы с обучением • Сеть успешно обучается за 60 эпох. • Замена функции активации на сигмоид не решает проблему. • Эффект затухающего градиента: ошибка остается высокой. 00:05:44 Решение проблемы • Введение скрытого состояния в нейрон. • Модель Эльмана: рекуррентная нейронная сеть. • Применение для обработки последовательностей. 00:09:30 LSTM и его применение • LSTM Long Short-Term Memory: запоминание важных факторов. • Применение в языковом моделировании и обработке кардиосигналов. • Разделение информации на краткосрочную и долгосрочную память. 00:16:28 Упрощенный вариант LSTM • Gated Recurrent Unit: упрощенная версия LSTM. • Механизм внимания для концентрации на важных данных. • Введение в теорию вероятности и условную вероятность. 00:18:50 Условная вероятность • Считаем количество появлений Наташи Ростовой в романе. • Находим вероятность появления Наташи Ростовой при условии наличия Пьера Безухова. • Строим вероятностное распределение слов в тексте. 00:19:32 Расширение задачи • Добавляем других персонажей...