Тихомиров М.М. - Обучение больших языковых моделей - 3. Токенизация, оценка качества LLM

Токенизация, оценка качества LLM Тихомиров Михаил Михайлович 00:17 Токенизация до subword tokenization 16:01 "Особенности" токенизации в современных пакетах 23:39 Проект Ruadapt 40:31 Оценка качества LLM 01:02:24 MERA 01:08:55 Shlepa 01:10:17 LLMTF - Benchmark 01:19:39 Выводы 01:21:03 Домашнее задание #llmarena