Как бороться с сетевыми эффектами в экспериментах? Диванная аналитика #8

Диванная аналитика — это место, где аналитики Авито делятся своим опытом. От написания стратегии до технических подробностей создания продукта. В восьмом выпуске Миша Пирожков, аналитик из команды маркетинга, рассказывает: - Как работают региональные тесты и как устроен наш текущий инструмент для анализа — RegAB. - Почему мы решили его прокачать и что именно усовершенствовали. - Как проверяли результаты и к каким выводам пришли на реальных кейсах. Таймкоды: 00:00 Начало 00:17 Тема доклада 00:22 Немного о Мише 01:10 План доклада 1:46 Зачем нужен RegAB и как он устроен 1:49 Рассмотрим несколько кейсов 4:35 Идея решения и как тут помогает региональный тест 6:46 Про старый алгоритм региональных тестов RegAB 11:10 Почему решили улучшить текущий инструмент 11:23 Почему старый инструмент не всегда нам помогал 12:32 Новый алгоритм RegAB 2.0 12:35 Декомпозиция задачи 13:35 Собираем данные по гео пользователей 14:50 Разбиваем регионы РФ на кластеры 16:05 Определяем, какие регионы попадают в тестовую и контрольную группу 19:16 Что получили на текущий момент 19:44 Собираем датасет для эксперимента 21:48 Применяем критерий 27:20 Что получаем на выходе 28:10 Как убрать сезонность 29:06 Валидация и результаты 29:10 Сравнение прошлой и новой версии 29:55 Проводим искусственный A/B-тест с эффектом в 5% 31:53 Результаты и выводы AvitoTech — это команда инженеров Авито. Подпишитесь на наш канал, соцсети и блоги, чтобы узнавать больше о технологиях Авито 👇🏻