А/Б тест, анализ результатов

Рассказываю как анализировать полученные результаты после А/Б тестирования. Полезные ссылки: Таймкоды: 00:00:00 Введение и анализ результатов• Обсуждение анализа результатов после A/B-тестирования. • Определение лидера среди изображений: первое изображение с CTR 3.65%. • Второе место: 3.26%, что на 10% хуже лидера. • Последнее место: победитель лучше более чем на 20%. 00:00:58 Погрешности статистики• Интервал смены изображения — 30 минут, что может влиять на скорость оформления заказов. • Статистическая погрешность в данных допустима. • Заказы не учитываются из-за окна атрибуции в 30 дней. 00:01:36 Условия для учёта заказов• Заказы важны при продаже с экспресс-доставкой и интервале смены изображения 60 минут. • Если инфографика не соответствует изображению-победителю, не стоит учитывать добавление в корзину. 00:02:28 Изменение статистики со временем• Пример изменения статистики: от 1000 показов до 10 000. • Фиолетовое изображение сначала побеждает, затем проигрывает. • Для точности данных рекомендуется тестировать на 10 000 показов и более. 00:04:39 Задержки в статистике• Озон может отдавать данные с задержкой от нескольких минут до пяти часов. • Если важно получить статистику по 10 000 показов, остановите тест через два дня. • В большинстве случаев статистика появляется через 2–5 часов. 00:05:09 Заключение• Учёт задержек в статистике при запуске A/B-тестирования. • Пожелания удачных тестов и высоких CTR. Смотрите также: