А/Б тестирование: новые возможности с рекомендательной системой

Полезные ссылки: Таймкоды: 00:00:00 Введение в инструмент тестирования• Инструмент тестирования подсказывает необходимое количество показов и кликов для достоверных метрик. • Оценивает вероятность того, что одно изображение лучше другого, на основе текущей выборки данных. • Рекомендует дополнительное количество показов для более точных выводов. 00:00:47 Минимальное количество показов• Для анализа данных требуется минимум 1000 показов на каждый вариант. • При меньшем количестве показов метрика затемнена и не даёт выводов. 00:01:04 Отключение слабых вариантов• Если вероятность того, что один вариант лучше другого, мала, его можно отключить. • Отключение позволяет быстрее набрать статистику по оставшимся вариантам. 00:02:31 Анализ метрик с помощью светофора• Светофор показывает достоверность метрик: красный — низкая достоверность, зелёный — высокая. • Пример: вероятность того, что вариант №2 лучше №1, составляет 96,71%. 00:03:12 Итоговая метрика• Итоговая метрика — процент из показов в корзину. • Лидер по этой метрике обыгрывает второе место с вероятностью почти 91%. 00:04:30 Сравнение воронок• Можно сравнивать не только главное изображение, но и всю воронку. • Добавление слайдов, как в Pinterest, повлияло на конверсию в худшую сторону. 00:06:25 Влияние объёма выборки• Чем больше объём выборки, тем достовернее результат. • Формула учитывает не только разницу, но и объём выборки. 00:07:20 Минимальные пороги данных• Для каждого количества вариантов изображения есть своя...