Сделал свой ИИ GPT с нуля | Как обучаются и работают простейшие нейросети без воды

00:00 Интро 00:07 Собираем тексты из википедии для обучения 00:22 Подготавилваем файлы для токенизатора 00:37 Исходный текст разбивается на токены 00:48 Как токенизатор формирует словарь 01:00 Как текст подается в нейросеть 01:10 Почему 10000 токенов в словаре моей модели 01:27 Обучение модели 01:36 Объединяем весь текст в общий массив токенов 01:50 Как происходит обучение нейросети пошагово - выбираем случайный кусок текста для обучения 02:07 Система обучения простая - мы подаем массив токенов x и массив токенов который нейросеть должна предсказать y и корректируем ее 02:19 Модель делает предсказание после каждого токена опираясь на контекст предыдущих слов 02:51 Как сигнал обратной связи меняет модель GPT 03:02 Обновление параметров 03:17 Со временем модель учится распознавать смысл, связи и контекст слов 03:29 Как нейросеть дописывает текст пошагово 03:45 Перед генерацией промт преобразуется в токены токенизатором 03:57 Превращаем каждый токен в эмбеддинг 04:14 Self Attention - для каждого токена вычисляются 3 вектора 04:29 Размер контекста модели 04:49 Многослойная структура Self Attention и Feed Forward 04:59 Весь процесс повторяется для каждого токена 05:18 Как получается итоговый текст 05:30 Гиперпараметры моей модели minigpt и график Loss 05:44 Пример генерации