Тихомиров М.М. - Искусственный интеллект - 7. Представление текста, токенизация. Ruadapt

Представление текста, токенизация. Ruadapt Тихомиров Михаил Михайлович 00:16 Представление текста, токенизация. Ruadapt 00:50 Проблемы информационного поиска 02:06 Графематический анализ (токенизация) 02:46 Сегментация текста на слова 05:38 Практические решения 06:45 Операции со словами 07:36 Морфологический анализ 08:55 Токенизация для больших языковых моделей 33:16 Пример токенизации текста в ChatGPT 39:16 Ruadapt 57:24 Пример адаптации знаний 59:12 Серия моделей RuadaptQwen2.5 01:05:49 Серия моделей RuadaptQwen3 #RuadaptQwen3