А/Б тесты фото-анализируем

Рассказываю о том, на что реально стоит обратить внимание при анализе фото а/б тестов Полезные ссылки: Таймкоды: А/Б тесты фото-анализируем 00:00:01 Введение• Обсуждение анализа результатов AB-теста на примере товаров.  00:00:15 Важные метрики• Кружочки «светофор» рядом с метриками: CTR, процент корзин, процент из показов в корзину. • Процент из показов в корзину — ключевой показатель эффективности изображения. 00:01:11 Анализ результатов• Лидер по CTR с вероятностью 100%. • Второе изображение лучше по проценту корзин с вероятностью 91,3%. • Вероятность лучшего изображения по проценту из показов в корзину — 52%. 00:02:43 Рекомендации и продолжение теста• Варианты 1 и 3 исключены из расчёта, так как они достоверно слабее лидера. • Для уверенности в результатах нужно набрать ещё 13 тысяч показов. • Возможность продолжения теста через кнопку «продолжить». 00:03:36 Результаты перезапуска• Перезапуск теста показал, что изображение с ленточкой проиграло. • Новый лидер по CTR с вероятностью 99,94%. • Победитель по проценту корзин с вероятностью 99,95%. 00:04:42 Влияние количества изображений• При двух изображениях достаточно 80% вероятности для уверенного результата. • При четырёх изображениях требуется 93,3% вероятности. • Чем больше изображений, тем выше должна быть вероятность для уверенных выводов. 00:05:42 Временные интервалы и конверсии• При тестировании двух изображений временные интервалы минимальны. • При тестировании десяти изображений разница во времени между...