Лекция №10 "Трансформеры"

Десятое занятие на курсе «Нейронные сети и их применение в научных исследованиях» для восьмого потока обучения. Преподаватель: Артем Васильев Дата: 11.12.2024 00:00 Заставка 00:44 Классический seq2seq 02:32 Cross-Attention 05:35 RNN + Cross-Attention 17:34 Разновидности функций сходства 29:34 Self-Attention 33:01 Архитектура сети Transformer 35:13 Кодировщик 50:35 Подготовка данных 53:13 Hugging Face 01:08:22 BERT 01:33:32 Декодировщик 01:38:05 GPT 01:42:17 Методы Генерации текста 01:51:27 Файнтюнинг 01:57:30 Большие языковые модели (LLM) 01:58:04 LLaMA 02:06:04 LoRa 02:09:46 NLP метрики 02:10:42 BERTScore 02:13:27 Self Attention (ViT 2020) Материалы лекции: #MSU_AI#Фонд_Интеллект