Почему А Б-тестирование сплит-тест лучше мультивариантного?

Это непрерывный процесс, отдельные эксперименты которого могут быть проведены заново, в разное время и на разных каналах. Самое сложное — это не затягивать тесты и не завершать их слишком рано. Вы должны успеть собрать репрезентативный объем данных, который позволит вам сделать объективный вывод.

• Каждый тест способен дать вам ценную информацию для понимания ваших посетителей.
• Например, артериальное давление измеряется по состоянию «время».
• Таким образом, вы привлекаете приблизительно 1050 потенциальных покупателей в неделю.
• Нет ничего хуже, чем просматривать плохо написанные логи или вообще их отсутствие.
• Эти сведения вы сможете использовать при разработке рекламных кампаний или при оптимизации остальных страниц сайта.

Третьим главным различием есть время, требуемое для получения видимых результатов для каждого тестирования. Клэр Во (Claire Vo), сооснователь Experiment Engine, кроме этого говорит, что MVT-тесты сложнее из-за ресурсов и дополнительного трафика, требующихся для них. Но постоянно остаётся место и для мультивариантных тестов (MVT), каковые смогут значительно увеличить ваши показатели и добавить ценности продукту. Но перед тем, как вдаваться в нюансы, коротко разглядим различия между подходами. MVT test проверяет несколько разных вариантов переменных одновременно и их взаимодействие. Важно тестировать все варианты одновременно, а не по отдельности.

Главное требование мультивариантного теста

Если QA-инженеры не участвуют в процессе разработки, то позже может оказаться, что команда разработчиков сделала что-то, что работает, но не так, как нужно. QA-отдел помогает сократить время, необходимое для разработки новых Мультивариантное тестирование тест-кейсов. Когда готов тест-план, отдел QA может приступить к настройке среды тестирования и созданию тест-кейсов. Они нужны, чтобы удостовериться, что в продукте нет ошибок и он стабильно работает согласно требованиям.

Запомните данный пример, мы будем применять его потом при разборе изюминок мультивариантного тестирования. Многовариантный тест — это проверка нескольких вариантов и нескольких переменных на лендинге либо сайте. В случае если сплит-тестирование в большинстве случаев употребляется для анализа одного значительного трансформации, то многовариантное — для одновременного анализа множества элементов на веб-странице.

Мультивариантное тестирование или сплит-тест — что выбрать?

Каждый тест, A/B или многовариантный, имеет встроенную плату за проведение эксперимента. В идеале, мы хотели бы, чтобы все проигрышные варианты «отваливались» своим чередом. Но статистически есть шанс, что любой из вариантов станет победителем, пока не достигнут уровень статистической значимости. Однако если кажущийся проигрышным вариант обходится вам во много конверсий, его лучше остановить прежде, чем он достигнет статистической значимости. Так вы сможете снизить затраты на проведение теста и направить больше трафика на другие, более жизнеспособные вариации. Кроме того, в результате на сам тест уйдет меньше времени, т.к.

Конечно, отвергнуть нулевую гипотезу не всегда так просто — труднее всего обычно выяснить, в чем состоит ваша нулевая гипотеза. В одном чате зашёл интересный разговор о том, как Продакты тестируют гипотезы для B2B решений. Копья сломались вокруг тезиса, что вкладываться в разработку без подтверждённых гипотез, это потеря денег. Однако — если вы знакомы с Enterprise, неправильная проверка гипотезы вам может стоить контракта с Газпромом.

Оптимизация конверсии

A/B/n сравнивает больше двух вариантов, и трафик равномерно распределяется между каждой версией. Изображение продукта и видео о нем — это варианты визуальной презентации, а «В корзину» и «Купить» — варианты призыва к действию. Пип Лайя, основатель агентства Conversation XL и известный эксперт в области повышения конверсии, отмечает, что большинство топ-агентств придерживается тактики «1 MVT после 10 А/В тестов».

Да, простят нас адепты A/B тестирования, мультивариантный тест тоже имеет право на жизнь. Кроме того, в практике нередко встречаются случаи, когда использование последнего оправдано и приносит результаты, которых никогда не получить при использовании только А/В тестирования. В том случае, если вы хотите узнать все про эффекты взаимодействия на страницах сайта различных несвязанных между собой элементов смело планируйте MVT.

Многовариантное тестирование бесполезно в большинстве случаев?

Но кроме того с миллионами посещений количество сделок все же не хватает громадно, дабы оправдать многовариантное тестирование. И обращение не только о трафике, но и о израсходованном времени (время от времени от регистрации до закрытия сделки проходят дни/семь дней/месяцы!). Дабы тщательнее протестировать все комбинации, необходимо создать пара вариантов для каждой переменной. Одним из самые популярных элементов для тестирования по праву считается заголовок страницы.

Например, заголовок страницы гласит «Скидки на кондитерские изделия для именинников! », а в качестве иллюстрации помещена фотография стеллажей с рядами «бытовой химии». Подобное сочетание способно вызвать когнитивный диссонанс у посетителя целевой страницы. И подвергать его подобному испытанию, как минимум, неосмотрительно. «Мультивариантное тестирование выступает против классических научных представлений.

Основных отличия сплит- и мультивариантного тестирования

Еще одно ограничение мультивариантного тестирования состоит в том, что все комбинации вариантов должны иметь смысл. В таких случаях лучше проводить сплит-тест, чтобы контролировать комбинации. Итак, если у вас достаточно трафика, вы можете использовать и мультивариантное тестирование, и классические бинарные сплит-тесты – так они будут дополнять друг друга. Например, используйте А/В тесты, чтобы выявить лучшие элементы страниц, а потом с помощью MVT полируйте окончательные варианты страницы. Многовариантное тестирование — способ для проверки догадок, в котором изменяются пара переменных.

Ваша задача — провести A/B-тест заголовков, чтобы выяснить, сможет ли эта страница с другим заголовком «догнать» остальные. При воспроизведении редакционных материалов сайта обязательна установка активной гиперссылки на источник — страницу с этой публикацией на Cossa.ru. Согласно нашему исследованию, на первые 3,5 часа после отправки приходится половина всех открытий. Если поторопиться, то результаты могут быть некорректными. Всех, кто прочитал статью до конца, приглашаем на открытое занятие в Otus, на котором мы рассмотрим тестирование API с помощью RestAsured и JsonSchemaValidator.