Как устроены рекомендации сообществ в ВКонтакте - Евгений Малютин / High Load 2022

Список полезных источников по рекоментальным системам и АБ тестированию: Таймкоды: 00:00 Выпуск про рекомендательные системы 01:01 Чем занимается Евгений в ВКонтакте / рекомендации сообществ 01:38 Зачем рекомендовать сообщества? 03:15 Что рекомендации дают ВКонтакте? Как измерять результат в бизнес показателях? АБ тесты 04:17 Как улучшают рекомендации 05:33 Из чего состоят RecSys (кандидаты, ранжирование)? Как устроены рекомендации сообществ ВКонтакте? 09:40 Анонс конференции High Load 2022 13 и 14 мая 10:23 Какие метрики используют, чтобы валидировать результат? И как связывают с бизнес-показателями? NDCG, ROC-AUC 13:00 Важны ли только показатели просмотра рекламы и др. для рекомендаций сообществ? 13:46 Как ROC AUC связан с реальными метриками? 14:41 Как проводят АБ тестирование? 15:34 Какие данные используют для отбора кандидатов в рекомендательных системах? Что делать небольшим сообществам? 19:26 Кратко какие данные в итоге нужны для рекомендаций сообществ 19:50 Какие данные используют для ранжирования. Подробно 22:38 Какие инструменты используют? Нужен ли Jupyter Notebook для таких задач? Почему Scala и Zeppelin? Kubernetes 26:48 Готовят ли модели и пайплайн в команде сами, либо работают как Full-stack DS? 28:40 Офлайн, онлайн и асинхронный подход в машинном обучении 32:55 Насколько актуальными получаются асинхронные рекомендации? Как часто и как быстро они пересчитываются? 34:34 С каких моделей начинали строить рекомендации? К каким моделям пришли сейчас? Причем...