Что такое сплит эксперимент и почему такой подход необходимо
сплит тестирование являет из себя метод проверки нескольких либо разных версий раздела, экрана, копирайта, элемента действия, формы, письма, промо креатива либо другого онлайн элемента. Основная цель проявляется в том этом, чтобы выяснить, какой версия результативнее показывает себя на фактической аудитории. Без опоры на предположений а также личных суждений используется тест на живой группы пользователей, при которой контрольная доля просматривает вариант A, тогда как вторая — формат B.
Такой принцип позволяет принимать действия с опорой на основе показателей, но без опоры на личных мнений а также случайных выводов. В обзорных публикациях, среди них 1win зеркало, регулярно указывается, будто сплит проверка особенно ценно в тех случаях, где точечные корректировки способны влиять в отношении поведение аудитории: переходы, оформления профилей, передачу заявок, глубину сессии, возвращаемость, транзакции, оформления подписок или иные целевые действия. Метод дает возможность увидеть, на самом деле ли конкретно изменение повышает 1win результат.
По какому принципу функционирует A/B эксперимент
Механизм A/B тестирования достаточно несложен. Вначале определяется блок, какой требуется оценить. Объектом проверки может оказаться headline, цвет кнопки, порядок элементов, формулировка сообщения, структура формы, визуал, тариф, формат оффера а также позиция целевого действия. После этого создаются минимум два варианта: исходный плюс измененный. Вслед за подготовкой трафик распределяется между версиями согласно заранее определенным параметрам.
Первая доля пользователей остается получать первоначальную страницу, тогда как вторая открывает обновленную. Платформа накапливает данные о поведении отдельной части затем анализирует метрики. Когда вариант B показывает лучший показатель с учетом нужном массиве сведений, эту версию получается внедрять. В случае если разницы нет либо новая страница показывает себя хуже, изменение убирается. В этом как раз проявляется практическая польза теста: эксперимент помогает проверять гипотезы перед окончательного 1вин внедрения.
Для чего нужно сплит тестирование
A/B тестирование необходимо ради сокращения неясности. На уровне онлайн продуктах даже незначительная деталь имеет шанс сказываться на оценку интерфейса. Один заголовок может быть понятнее иного, краткая форма способна отправляться регулярнее объемной, а намного более видимая кнопка действия может увеличить объем нажатий. Если не использовать тестирования такие выводы нередко выглядят догадками.
Метод дает возможность развивать сервис постепенно. Без необходимости масштабной переработки целого сайта либо сервиса получается тестировать отдельные элементы и фиксировать фактический показатель. Это сокращает вероятность неудачных правок, сберегает ресурсы и помогает накапливать понимание о реакциях пользователей. Через временем проект 1 win получает не просто комплект оценок, а базу подтвержденных решений.
Какие именно объекты получается проверять
Проверять можно практически любой блок, какой сказывается в отношении реакции аудитории. Обычно в большинстве случаев оценивают headline-блоки, вторичные заголовки, CTA на действию, надписи элементов действия, поля создания профиля, место секций, изображения, блоки продуктов, очередность действий, фильтры, список разделов, визуальные блоки, сообщения, email-сообщения плюс рекламные материалы. Существенно, для того чтобы отобранный объект был соотнесен с определенной заданной метрикой.
Когда задача состоит в необходимости увеличении заполненных заявок, логично тестировать анкету, сообщение возле этого блока, объем полей плюс выразительность элемента действия. Если необходимо усилить объем изучения, следует тестировать меню, блоки рекомендаций, внутренние ссылки и структуру раздела. Чем прямее соотношение 1win в паре правкой а также задачей, тем самым ценнее результат тестирования.
Проверяемая идея в роли фундамент эксперимента
Любой корректный А/Б эксперимент запускается с гипотезы. Проверяемая идея формулирует, какого типа правка предлагается, по какой причине это изменение может повлиять по части показатель и какой именно результат может сдвинуться. Например, можно сформулировать, что упрощение заявки создания профиля уменьшит объем отказов, потому что именно посетителю потребуется значительно меньше минут ради выполнения процесса.
Корректная гипотеза не обязана следует быть слишком размытой. Формулировка наподобие «сделать интерфейс удобнее» не помогает помогает оценить показатель. Более полезный вариант: «когда поменять длинный формулировку элемента действия на сжатый а также точный, количество нажатий увеличится, потому что именно шаг станет очевиднее». Подобная гипотеза сразу же 1вин указывает предмет теста, логику плюс критерий.
Базовая а также тестовая выборки
Внутри сплит тестировании базовая часть видит исходный формат, и проверочная — обновленный. Такое разделение важно с целью корректного анализа. В случае если просто обновить раздел а также сравнить метрики до изменения а также вслед за, итог может исказиться вследствие сезонности, промо активности, смены источников посещений, событий, технических сбоев либо иных окружающих причин.
Одновременный запуск разных решений сокращает воздействие случайных условий. Две аудитории остаются в похожей среде: тот же а также тот же период, схожие самые источники пользователей, похожие платформы а также одинаковый контекст. Следовательно расхождение внутри результатах с 1 win большей вероятностью связано как раз с данным изменением, а не столько с внешними условиями.
Какие именно метрики задействуются при A/B экспериментах
Метрика — представляет собой показатель, на основе которому проверяется итог эксперимента. Выбор метрики зависит от цели эксперимента. Для раздела с активной анкетой важны передачи обращений, для торговой площадки — сохранения внутрь заказ плюс заказы, в случае контентного проекта — длина просмотра и период сессии, в случае аппа — оформления профилей, первые действия, возвращаемость и повторные 1win активности.
Необходимо разграничивать главную а также вторичные метрики. Основная отражает, ради какой цели проводится эксперимент. Вспомогательные помогают выявить побочные последствия. К примеру, обновление CTA способно усилить клики, при этом уменьшить ценность дальнейших шагов. Следовательно полезно смотреть не исключительно исключительно на начальный этап, однако также на дальнейшее поведение: окончание формы, повторные визиты, отказы, сбои а также суммарную значимость действия.
Математическая значимость
Математическая существенность показывает, насколько реалистично, будто наблюдаемая разница в паре версиями не оказывается случайной. В случае если конкретный вариант немного обходит второй вслед за ряда десятков единиц посещений, такой результат пока не доказывает победу. В условиях ограниченном объеме данных итог способен оперативно поменяться, когда 1вин аудитория станет больше.
Ради надежного вывода нужно значительное объем наблюдений. Насколько скромнее ожидаемая разница в паре версиями, тем объемнее данных нужно накопить. В случае если корректировка должно улучшить метрику лишь примерно на несколько %, проверке потребуется больше времени а также трафика. Математическая достоверность дает возможность не выносить поспешные действия с опорой на базе временных изменений.
Размер аудитории плюс продолжительность эксперимента
Размер выборки воздействует по части достоверность результата. Если эксперимент получает очень мало пользователей, заключения имеют шанс оказаться сомнительными. В частности, малое число дополнительных кликов у одной группе могут выглядеть как прирост, при этом в условиях крупном масштабе будут простой случайностью. Поэтому до старта полезно понимать, какое количество пользователей 1 win или конверсий нужно с целью подтверждения гипотезы.
Продолжительность эксперимента тоже имеет роль. Очень короткий период проверки может не учитывать различия между рабочими и выходными сутками, рабочей и вечерней активностью, отличающимися каналами пользователей. Как правило тест обязан захватывать полный период поведения посетителей. Вместе с этом чрезмерно затянутый эксперимент также нежелателен, если сторонние обстоятельства могут заметно измениться.
Почему не стоит изменять тест в течение время проведения
Одна из в числе типичных проблем — добавлять правки внутрь эксперимент после старта. Когда внутри центре проверки обновить формулировку, аудиторию, дизайн, правила вывода либо цель, данные станут неоднородными. В таком случае окажется сложно определить, что конкретно повлияло в отношении результат. Эксперимент утратит прозрачность, и результаты станут спорными 1win.
До момента старта нужно установить предположение, форматы, критерии, разбивку аудитории а также условия остановки. С момента старта желательно не стоит корректировать тест без наличия важной основания. В случае если найдена проблема на уровне конфигурации а также технический сбой, правильнее остановить эксперимент, устранить сбой и создать повторный проверку, вместо того чтобы стараться анализировать некорректные показатели.
Параллельное тестирование многих правок
В отдельных случаях возникает желание протестировать за один раз ряд решений: другой текстовый блок, альтернативную кнопку действия, сокращенную форму а также обновленный последовательность элементов. Этот подход имеет шанс показать суммарный эффект, при этом не покажет раскроет, какой именно элемент сказался на результат. Когда обновленная страница оказалась лучше, будет непонятно, что сработало лучше прочего.
Ради чистой оценки чаще всего меняют единственный важный элемент за 1вин один этап. В случае если нужно сопоставить многие сочетаний, используется многофакторное тестирование. Оно многоуровневее, нуждается повышенного трафика плюс аккуратной расшифровки. В случае большинства сценариев А/Б проверка на основе конкретной понятной проверкой обеспечивает намного более понятный плюс ценный эффект.
Сценарии сплит экспериментов на уровне дизайне
На уровне дизайнах A/B проверка часто применяется с целью повышения ясности действий. К примеру, получается сравнить две вариации анкеты: длинную с полным набором полей и краткую с минимальным числом данных. В случае если упрощенная заявка усиливает число завершенных созданий аккаунтов без ухудшения результативности обращений, этот вариант допустимо признавать более эффективной.
Еще один пример — проверка текста кнопки. Общая надпись может стать гораздо менее очевидной, по сравнению с прямое объяснение результата. Дополнительно сравнивают место кнопок, последовательность смысловых разделов, подачу 1 win hint-элементов, наличие шкалы выполнения, способ показа сбоев и количество действий на протяжении процессе. Любой этот фактор влияет по части то самое, насколько удобно выполнить нужное действие.
А/Б проверка на уровне контенте
На уровне контенте эксперимент помогает определить, какие заголовки, описания, схемы плюс типы сильнее удерживают внимание. Можно сопоставлять разные вступления, длину материала, логику доводов, добавление маркированных блоков, оформление блоков, подачу преимуществ а также манеру раскрытия сложной темы. Вместе с таком подходе важно анализировать не только только нажатия, а также еще дальнейшее действие.
Headline способен усилить количество переходов, однако если содержание не сможет соответствует интересам, вырастет процент уходов. Из-за этого редакционные тесты обязаны принимать во внимание глубину взаимодействия: период изучения, глубину страницы, клики в пределах ресурса, повторные визиты плюс совершение нужных результатов. Хороший результат — является не только лишь захват клика, а совпадение ожидания а также контента.
A/B тестирование внутри email-кампаниях
Внутри почтовых рассылках обычно тестируют subject-строки рассылок, имя отправителя, первые строки, период рассылки, длину письма, место элементов действия и описания офферов. Одна часть аудитории видит контрольную версию сообщения, второй сегмент — тестовую. После этим анализируются open rate, нажатия, отписки, негативные сигналы а также следующие реакции на сайте.
Важно не нужно сводить анализ показателем open rate. Заголовок письма может оказаться выразительной и получать внимание, при этом когда она не сможет отвечает содержанию, переходы плюс доверие могут ослабнуть. Поэтому полезный тест рассылки оценивает цельную последовательность: открытие, переход, поведение после нажатия и реакцию подписчиков по отношению к сообщение.