LLM biomed special edition lecture

00:00:00 Введение в большие языковые модели • Большие языковые модели оперируют понятиями токенов, которые могут равняться одному слову. • Эти модели основаны на вероятностных моделях, что влияет на ответы нейронных сетей. • Эволюция моделей привела к увеличению количества параметров до 32 миллиардов и более. 00:01:32 Проблемы и перспективы языковых моделей • Экстенсивное развитие языковых моделей с 2008 года привело к необходимости новых подходов. • На конференции в 2024 году обсуждалось, что информация для обучения моделей может закончиться. • Один из крупнейших датасетов, Павел, содержит около 20 миллиардов ссылок. 00:06:02 Позиционное кодирование • Позиционное кодирование переводит текст в числовые значения. • Глубина кодирования обычно составляет 4096 значений. • Пример с собакой показывает, как слова связаны с другими словами в предложении. 00:09:23 Word2Vec и условная вероятность • Word2Vec упрощает перевод слов в числовые векторы. • Условная вероятность из теоремы Байеса используется для предсказания слов. • Алгоритмы "мешок слов" и "поиск грамматических лексем" работают с корпусом данных. 00:12:39 Негатив сэмплинг и модель TF-IFD • Негатив сэмплинг помогает отбросить ненужные слова для предсказания следующего слова. • Вероятностное расстояние между словами позволяет оценить их семантическую близость. 00:17:11 Истоки больших языковых моделей • Основоположниками больших языковых моделей были Джордж Миллер и Кристиан Фельбаум. • Их проект WordNet был первой языковой...