Как и зачем их проводить

Этапы A/B-тестирования для email-рассылок

Мы выделили этапы A/B-тестирования, которые нужно пройти, чтобы результат теста получился достоверным. В качестве примера мы используем A/B-тест email-рассылки, но план подходит для любых A/B-тестов: сайта, скриптов колл-центра, SMS.

Определить точку роста и метрику

Точка роста – это то, что хочется улучшить. Например, маркетолог заметил, что письмо с подборкой рекомендуемых товаров редко открывают, и хочет это исправить. Он может выбрать улучшение этого письма в качестве точки роста.

Метрика – это то, в чем улучшение можно измерить. Это могут быть объем продаж, выручка, чистая прибыль, количество посетителей и другие. Для письма с подборкой товаров метрикой может быть увеличение среднего чека. Можно также выбрать метрики, близкие к целевой – open rate, click rate.

Например, маркетолог из сегмента fashion захотел улучшить email-рассылку и выбрал метрики – open rate и click rate. Он отправил двум группам клиентов письмо с разными темами. После тестирования выяснилось, что одну из тем открыли больше клиентов, но другая привела к большему количеству переходов на сайт.

Результаты теста показали, что целевые клиенты предпочитают заголовки, которые соответствуют содержанию письма.

Выдвинуть гипотезу

После определения точки роста и метрики следует выбрать элемент для тестирования. Например, для увеличения click rate можно тестировать разные заголовки, темы, содержание или время отправки рассылки. После выбора элемента выдвигается предположение о том, почему один вариант будет работать лучше другого.

Примеры гипотез:

• Слово приз более привлекательно, чем подарок
• Изображения брутальных мужчин привлекут больше внимания, чем цветы
• Обращение по имени в теме письма увеличит open rate на N процентов

Гипотеза должна объединять предположение и метрику для ясности ожидаемого результата. Гипотезу необходимо сформулировать четко, чтобы определить цель исследования.

Прогнозирование и тестирование метрик в маркетинге

Изменение метрики можно спрогнозировать исходя из опыта маркетолога или предположить минимальный рост, ради которого стоит проводить тест. Для некоторых компаний даже 1% роста — это отличный результат, который стоит тестировать. Для других — лучше закладывать в гипотезу рост от 3%, потому что маленькое улучшение слабо повлияет на бизнес.

Примеры гипотез наших клиентов:

• Эмодзи в теме письма увеличивают открытия на 2%
• С эмодзи и без эмодзи
• Блок сопутствующих товаров в карточке товара увеличит средний чек на ~10%
• С блоком сопутствующих товаров в карточке и без
• Попап на сайте с бесплатной доставкой увеличит конверсию в заказ на 4%
• С попапом и без попапа

Рассчитать размер выборки

Размер выборки — это количество людей, которые должны поучаствовать в эксперименте. Правильный расчет выборки до запуска тестирования позволит вовремя выключить тест и получить достоверные результаты.

Расчет выборки

Если выборка рассчитана неправильно, есть риск выключить тест слишком рано или, наоборот, продолжать тест дольше, чем нужно. В первом случае результаты могут быть недостоверны, а значит, и решение будет неверным. Во втором — компания потратит ресурсы на тестирование, которое не принесет значимых результатов.

Как рассчитать выборку?

Размер выборки рассчитывается с помощью калькулятора АВ-тестов. В Mindbox есть бесплатный калькулятор, доступный всем. Он позволяет рассчитать выборку на основе трех цифр: количество тестируемых вариантов, размер старого показателя, процент улучшения.

Пример расчета выборки

Предположим, маркетолог решил протестировать два вида темы письма, чтобы выявить вариант с более высоким open rate. Для этого в калькулятор нужно ввести:

1. Значения достоверности
2. Значение мощности

Показатели выборки

По умолчанию в калькуляторе стоит показатель 95%. В математической статистике это считается хорошим показателем достоверности, потому что ошибка маловероятна. Можно оставить это значение, а можно выбрать свой вариант. При значении 90% понадобится меньше людей для теста, но вероятность ошибки увеличивается до 10%. Цена таких ошибок отразится на прибыли компании, если распространить на всю базу неверное решение. При значении 99% вероятность ошибки будет минимальной, но понадобится больше людей и времени на проведение теста.

По умолчанию в калькуляторе стоит высокий показатель — 80%, который мы рекомендуем исходя из опыта наших клиентов. Он означает, что существует небольшая вероятность по ошибке отвергнуть лучший вариант письма.

Практический пример

После ввода данных калькулятор показывает, сколько людей должны увидеть каждый вариант, чтобы можно было доверять результату теста. На примере проведения тестирования двух вариантов темы письма и получения результата с достоверностью 95% необходимо отправить каждый вариант 2791 клиенту.

Как вариант, можно немного снизить показатель достоверности до допустимых 90% для сокращения количества клиентов для теста.

Преимущества A/B-тестирования

При 90% достоверности понадобится на тысячу клиентов меньше, чем при достоверности 95%.

Как запустить тест

Перед запуском нужно создать варианты писем, отличающиеся друг от друга тестируемым элементом. Например, тема письма с смайликом или без.

Варианты писем:

Вариант А:

Тема письма с смайликами.

Вариант В:

Тема письма без смайликов.

Эти версии письма должны отправляться разным группам клиентов в случайном порядке для получения достоверных результатов.

Проведение АА-теста

Для проверки верности распределения получателей на группы можно провести АА-тест. Это эксперимент, в котором двум группам клиентов отправляют одинаковые варианты.

Проанализировать результаты

По окончании тестирования надо выбрать победителя на основе результатов и статистической значимости теста. Для удобства рекомендуется использовать калькулятор достоверности АВ-тестирования.

Калькулятор Mindbox выявляет вариант-победитель, который можно использовать для отправки всем остальным клиентам.

Пример результата теста

Результаты теста, в котором мы на 95% уверены, что разница между вариантами есть и вариант В лучше варианта А.

A/B-тестирование: оптимизация маркетинговых стратегий

A/B-тестирование — это мощный инструмент в арсенале маркетолога, позволяющий проводить эксперименты и оптимизировать свои маркетинговые стратегии с целью увеличения конверсии и повышения эффективности рекламных кампаний. Этот метод основан на сравнении двух или более вариантов одного элемента в маркетинговом контексте, чтобы определить, какой вариант приводит к лучшим результатам.

Начало A/B-теста

Каждый A/B-тест начинается с выбора переменной, которую вы хотите оптимизировать. Тестировать можно любую гипотезу или даже часть интерфейса, например:

• Заголовок на странице
• Дизайн кнопки
• Цвета элементов
• Текст объявления

Необходимо создать два или более варианта этой переменной: вариант A (контрольная группа) и вариант B (тестируемая группа), которые будут случайным образом показываться вашей аудитории.

Идея и процесс A/B-тестирования

Главная идея A/B-тестирования — в сборе данных и сравнении производительности разных вариантов. После сбора результатов вы анализируете их, выясняя, какой вариант лучше справляется с вашей конкретной задачей. Например, вы можете определить, какой заголовок привлекает больше кликов на рекламное объявление или какой дизайн страницы приводит к большему количеству покупок.

Преимущества использования инструментов для A/B-тестирования

Проводить A/B-тестирование проще с помощью специальных инструментов. Так вы сможете легко создавать и настраивать эксперименты, управлять вариантами, отслеживать результаты и получать детальные отчеты для анализа. Такой инструмент предоставляется Roistat, который помогает оптимизировать рекламные материалы, улучшить пользовательский опыт на веб-сайте и увеличить конверсию.

Пример A/B-тестирования в Roistat

Зачем проводить A/B-тестирование разных вариантов лендингов

A/B-тестирование — неотъемлемая часть успешных маркетинговых стратегий бизнеса. Основные причины проведения тестирования:

• Оптимизация маркетинговых кампаний
• Повышение конверсии
• Улучшение пользовательского опыта

Что проверяют с помощью A/B-тестирования

Маркетологи могут проводить A/B-тесты для анализа:

• Заголовков
• Цветовой схемы
• Размещения элементов

Ошибки при проведении A/B-тестирования и как их избежать

При проведении тестирований важно избегать следующих ошибок:

1. Неправильный выбор переменных
2. Недостаточное количество данных
3. Неверная интерпретация результатов

Взглянуть на маркетинговые стратегии с помощью A/B-тестирования позволяет не только оптимизировать результаты, но и получать информацию о том, что наиболее эффективно работает для вашего бизнеса.

Даже опытные маркетологи иногда допускают ошибки при проведении сплит-тестов. Важно знать эти ошибки и научиться избегать их, чтобы получить достоверные и полезные результаты.

Вот некоторые популярные ошибки, которые можно допустить при проведении A/B-тестирования, и способы их предотвращения.

Недостаточный объём данных — ошибка заключается в том, что тестирование проводится на недостаточном количестве посетителей, что может привести к ненадёжным результатамНеобходимо определить заранее достаточный объём выборки и продолжить тестирование до тех пор, пока не будет собрано достаточное количество данных для статистической значимости

Неправильный выбор метрик — если выбраны неподходящие метрики для измерения результатов тестирования, это может привести к неправильным выводамВажно тщательно выбирать метрики, которые отражают цели вашего бизнеса. Например, если вашей целью является увеличение конверсии, то CR (коэффициент конверсии) должен быть основной метрикой для оценки результатов теста

Несбалансированные группы — если группы А и Б не сбалансированы по ключевым характеристикам, это может исказить результаты тестированияРекомендуется случайным образом распределять посетителей между группами, чтобы уровень их основных характеристик был примерно одинаковым

Неправильное время проведения теста — время, в которое проводится тестирование, может оказывать влияние на результаты. Например, если тест проводится в период низкой активности пользователей, результаты могут быть недостовернымиУчитывайте сезонные факторы, праздники и другие временные особенности вашей аудитории при выборе времени проведения теста

Множественное сравнение — эта ошибка заключается в том, что проводится слишком много тестов одновременно без учёта поправок на множественное сравнение. Это может привести к ложным положительным результатамНе проводите несколько тестов одновременно. Один тест — одна гипотеза

Неправильная интерпретация результатов — допустить эту ошибку можно, если результаты тестирования не анализируются и не интерпретируются правильно.Будьте внимательными при анализе данных и делайте выводы на основе статистической значимости и практической значимости.

Как провести сильный сплит-тест с помощью инструмента Roistat

Инструмент А/Б‑тесты Roistat предоставляет возможности для проведения и анализа результатов сплит-тестов. Покажем на примере лендинга.

Выберите, что тестировать

Анализируйте различные варианты интерфейса лендингов и больших сайтов. Производите изменения в отдельных элементах страниц, разделах или даже на всём сайте с целью выявить более эффективный интерфейс.

Возможности инструмента A/B-тесты Roistat

Настройте сплит-тест в пару кликов

Roistat предлагает интуитивно понятный интерфейс, который позволяет легко настроить и запустить A/B-тесты без необходимости в программировании или специальных навыках. Даже неопытные пользователи смогут быстро разобраться и начать проводить тесты.

Инструмент Roistat позволяет создавать и изменять различные варианты страницы без необходимости внесения изменений в исходный код. Это упрощает и ускоряет процесс создания и настройки тестовых вариантов, что особенно полезно для маркетологов, не имеющих технических навыков.

Настройка A/B-тестирования Roistat

В Roistat подсказки на каждом шагу — на этой страничке достаточно указать настройки и параметры теста.

Определите продолжительность и запустить А/Б-тестирование

Roistat позволяет управлять различными параметрами теста, такими как размер выборки, длительность тестирования и пропорции распределения трафика между вариантами. Это даёт возможность точно настроить тест в соответствии с потребностями и целями бизнеса.

Не тратьте время на подсчёт — результаты рассчитает Roistat

Roistat предоставляет подробную статистику и аналитику результатов A/B-тестов. Вы сможете получить информацию о конверсионных показателях, уровне значимости, доверительных интервалах и других ключевых метриках. Это поможет вам принять обоснованные решения на основе надёжных данных.

Пример отчёта по результатам A/B-тестирования

С помощью инструмента Roistat вы сможете проводить сильные и эффективные A/B-тесты, которые помогут вам оптимизировать вашу веб-страницу и улучшить конверсию.

Больше информации о концепции А/Б-тестирования и его значимости для бизнеса можно найти на нашем YouTube-канале:

Видеоинструкция о возможностях A/B-тестирования Roistat

Вопросы и ответы об A/B-тестировании

Объём выборки зависит от нескольких факторов, включая ожидаемый эффект изменений и уровень различий, который вы хотите обнаружить. Чем больше выборка, тем более точные результаты тестирования. Важно убедиться, что выборка достаточно большая для статистической значимости результатов.

Как долго должен продолжаться A/B-тест?

Длительность A/B-теста зависит от нескольких факторов, включая размер выборки, уровень различий между вариантами и ожидаемую конверсию. Рекомендуется проводить тесты в течение достаточно длительного периода времени, чтобы убедиться в статистической значимости результатов.

Как выбрать правильные метрики для A/B-тестирования?

Выбор метрик зависит от конкретных целей и задач бизнеса. Некоторые распространенные метрики включают конверсию, среднее время на странице, отказы и средний чек. Важно выбрать метрики, которые наиболее точно отражают ваши бизнес-цели и могут быть измерены и отслежены.

Как часто следует проводить A/B-тестирование?

Частота проведения A/B-тестирования зависит от ваших бизнес-целей, доступного трафика и объёма изменений, которые вы хотите проверить. Некоторые компании проводят тестирования непрерывно, постоянно оптимизируя свои процессы, в то время как другие предпочитают проводить тесты в определённые периоды или при значительных изменениях.

Главное об A/B-тестировании

При подборе персонала HR-менеджеры используют самые разные методы оценки, в том числе и тесты. Да, вокруг тестирования нередко разгораются споры: можно ли считать его объективным, какие тесты эффективны, а какие лучше не применять, как вообще использовать в дальнейшем полученные результаты.

Но тем не менее тесты для работников все равно пользуются популярностью. Тому доказательство статистика: 85% российских компаний с численностью более 100 человек обязательно применяют такой метод оценки будущих сотрудников.

Разбираемся вместе с нашим экспертом, для чего нужно тестирование работников, какие бывают hr тесты и что лучше использовать для оценки той или иной грани личности кандидата.

Наш эксперт

Андрей Фадин

Тесты для сотрудников нужны, чтобы выбрать лучших кандидатов на работу и отсеять тех, которые не подходят компании по каким-то причинам, включая несоответствие корпоративной культуре.

Андрей Фадин поясняет: «Человек приходит устраиваться на работу, мы о нем еще ничего не знаем, есть только резюме. А нам нужна база, чтобы начать с ним собеседование. То есть более такое конкретное, предметное представление о человеке, особенно если мы рассматриваем его на высокие позиции, например, на должность руководителя подразделения. Здесь цена ошибки при подборе довольно велика. Тесты помогают на первом этапе оценить способности человека, сделать выводы. Это позволяет дать прогноз, насколько соискатель будет успешен в работе и в коллективе в целом».

Тесты при трудоустройстве многое могут рассказать о человеке:

В последнее время компании уделяют особое внимание ценностям кандидатов, отмечает Андрей Фадин: «Многие организации сегодня испытывают потребность в оценке ценностей приходящих на работу соискателей, а потом уже компетенций. То есть компании изначально подбирают кандидатов, которые подходят под их ценности. Потому что компетенции – это область приобретаемая, развиваемая, мы можем из человека сделать хорошего специалиста уже в условиях нашего предприятия. А ценности – это то, на что влиять достаточно трудно».

Какие тесты применяются при трудоустройстве?

Под тестированием на работу подразумевают письменные способы оценки кандидатов.

По словам Андрея Фадина, они делятся на две части:

Часть 1. Тесты определения способностей: это умение работать с цифровой и логической информацией, возможность понять, насколько человек внимателен, какими он обладает психофизиологическими характеристиками, которые нужны в той или иной ситуации.

Часть 2. Сюда входят разного рода опросники. Это тоже тестирование, но в виде определенных вопросов. Есть опросники личностного характера, которые определяют, например, показатели личностных и деловых качеств, необходимых для работы. Существуют опросники, которые исследуют мотивационные приоритеты человека. Сюда можно добавить опросники командных ролей – некоторые компании их используют, чтобы понять, как себя будет вести человек при решении общих командных задач, какую роль он будет при этом играть.

Службы по подбору персонала подбирают тесты в зависимости от того, какие качества важны для кандидата на определенную должность.

Выделяют несколько основных типов тестов на собеседовании:

1. на интеллект:

2. на личностные характеристики;

3. на уровень мотивации.

Психологические тесты

Психологическое тестирование на работе необходимо, чтобы определить, все ли в порядке с психикой у человека, общительный ли он, вписываются ли его моральные устои в нормы компании. Психологических тестов при приеме на работу множество. Каждая организация выбирает их для себя, отталкиваясь от того, кандидата с какими качествами хотелось бы видеть в своих рядах.

Мы рассмотрим лишь часть самых популярных психологических тестов:

Кандидату показывают карточки, на которых изображены чернильные пятна различных оттенков. Затем просят поделиться – что он на них увидел, и делают выводы о психике соискателя.

Помогает определить IQ. Человеку предлагают найти закономерности в ряде графических объектов.

Представляет собой пятифакторную модель личности. Она создана таким образом, что позволяет составить практически полный портрет личности. Модель состоит из 5 факторов: нервозность, открытость, экстраверсия, уживчивость и сознательность. Каждый из них включает еще по несколько черт и характеристик.

Вербальные тесты

Вербальные тесты на приеме на работу – это проверка на умение работать с текстовой информацией. И правила русского языка тут ни при чем. Работодатель смотрит, как кандидат владеет письменной и устной речью. Если хорошо, значит, способен продуктивно общаться с сотрудниками, доступно объяснять информацию, свои идеи. Вербальные тесты также отчасти показывают уровень интеллекта и умение работать в стрессовой ситуации.

Вербальные тесты при приеме на работу бывают нескольких видов:

Может состоять только из теста на интеллект, а может включать в себя три части. Кандидату предлагают фрагмент текста и несколько утверждений – верное оно, ложное или мало информации для выводов.

Тест Talent q

Этот вербальный тест при приеме на работу включает до 20 вопросов, у каждого несколько вариантов ответа. Сложность каждого вопроса зависит от ответа на предыдущий.

Тесты позволяют проверить, насколько кандидат понимает и анализирует информацию, критически мыслит, может отличить реальные факты от предполагаемых. Тест включает до 15 вопросов.

Тесты на логику и интеллект

Логические тесты помогают компании оценить, насколько соискатель умен и сообразителен, какие нестандартные выходы он видит в той или иной ситуации. Такие тесты представляют собой схемы, геометрические фигуры, повторяющиеся элементы, ряд которых необходимо продолжить или же удалить из списка.

«Тестами на логику и интеллект полезно проверять людей, претендующих на должности, связанные с аналитической работой, которые будут заниматься анализом больших данных, экономическим, стратегическим анализом. Это финансисты, экономисты, эйчар-аналитики, логисты», – советует Андрей Фадин.

Видов тестов на логику и интеллект тоже много. Отметим несколько из них:

Математические или числовые тесты

Для начала разберемся, что такое числовой тест при приеме на работу. Это задание, в основе которого лежит расчет математических задач от базовых до сложных. Работодателю с его помощью оценивает, как соискатель работает с цифрами, насколько быстро может найти и вычислить нужную информацию в графике. Такие тесты используют при оценке кандидатов на должности экономистов, бухгалтеров, инженеров, IT-специалистов.

Числовые тесты при приеме на работу тоже могут быть самыми разными:

Тесты на стрессоустойчивость

Тесты на стрессоустойчивость при приеме на работу определяют уровень раздражительности будущего сотрудника, способность к самоконтролю, поведение человека в неожиданной ситуации.

Андрей Фадин считает, что такие тесты необходимо проходить всем кандидатам, которые будут работать с людьми: «Это специалисты отделов продаж, доверия и заботы, как сейчас говорят, службы психологической помощи, сотрудники, которые работают с претензиями клиентов. Кроме того стрессоустойчивость – очень важная компетенция для руководителя: насколько он умеет сохранять спокойствие, рационален ли при анализе ситуации и принятии решений».

Стрессоустойчивость пригодится и тем, кто все время рискует здоровьем, своей или чужой жизнью. Например, сотрудникам МЧС, полицейским, работникам РЖД.

Тесты на стрессоустойчивость бывают:

Среди психологических тестов можно отметить следующие самые популярные:

Как выбрать тест для проверки кандидата?

Какие тесты при поступлении на работу будет проходить соискатель? Здесь все зависит от самой организации и должности кандидата.

Андрей Фадин отмечает: «В основе всегда лежит модель компетенций, которая разработана для компании. Специалисты отдела кадров подбирают тесты, исходя из набора профессиональных, управленческих, коммуникативных качеств, которыми должен обладать соискатель на ту или иную должность. Сейчас есть компании-разработчики тестов, предлагающие образцы отчетов тестирования. Так проще определиться, какую форму выбрать. Отчет можно изучить и понять, что же вы получите в итоге, какую информацию извлечете при тестировании кандидатов. Очень удобно».

Тесты выбирают, отталкиваясь от того, что нужно оценить:

Иногда необходимо использовать несколько тестов, чтобы оценить соискателя комплексно.

Однако стоит помнить, что тест – не основной инструмент для оценки персонала при приеме на работу. Кроме него специалисты по подбору кадров используют другие методы, позволяющие лучше познакомиться с соискателем.

К другим методам проверки кандидата относятся:

Скрининг. HR-специалист интересуется у кандидата его опытом работы, задает вопросы о жизни, хобби и жизненных принципах.

Симуляция работы. Кандидат один день проводит в компании на той должности, на которую претендует. Так он сможет понять, подходит ли ему это место. Да и руководитель увидит – стоит ли брать на работу именно этого человека.

Кейсы. Соискатель презентует те кейсы, с которыми ему приходилось сталкиваться по долгу службы. Рассказывает, как удалось решить задачи и достичь поставленных целей.

«Тесты – всего лишь вспомогательная вещь, хороший инструмент, чтобы получить первое представление о человеке. Но нужно еще кое-что, чтобы подтвердить результаты тестирования. Например, интервью, – говорит эксперт. – Допустим, человек прошел тест. На основании этой оценки мы можем сформулировать вопросы для интервью. Это нужно, чтобы проверить кандидата, насколько он был честен при заполнении опросников, особенно личностных. Получив ответы и сравнив с результатами тестов, делаем объективные выводы о кандидате и решаем, брать его на работу или есть риски».

Как проводить тестирование?

Оценка соискателей с помощью тестов должна отвечать основным требованиям:

Нужно сделать так, чтобы результаты тестирования не зависели от проверяющего его сотрудника.

Тесты должны соответствовать теоретическим идеям, быть точными и достоверными.

Тест должен быть таким, чтобы потом результаты можно было сравнить с другими методами оценки и сделать объективные выводы.

Простота проведения тестирование и минимум затрат при этом – идеальный вариант.

Кроме того тестирование сотрудников проходит по строгим правилам. Андрей Фадин поясняет, что всегда есть четкая инструкция: «Ее разрабатывает компания, которая предлагает свой опросник или тест. Сначала кандидату обязательно зачитывают инструкцию. Затем, если он проходит тесты способностей, то получает 2-3 пробных вопроса, чтобы сложилось понимание, как работать с этим тестом. После пробы можно задать вопросы специалисту по кадрам. Потом дается время на выполнение задания – все тесты и опросники ограничены временем. Как только оно истекло, не важно, сколько кандидат успел решить тестов, он отдает бланк с результатами. Специалисты обрабатывают его и передают менеджерам по подборам персонала».

Из особых требований эксперт добавляет удобство: кандидату должно быть комфортно, чтобы его ничего не отвлекало.

Всегда ли стоит применять тестирование сотрудников?

Итак, тесты для устройства на работу применяют многие компании. Это помогает найти лучших кандидатов на ту или иную должность и отсеять неподходящих работников. Тестирование персонала позволяет сразу на входе определить остроту ума соискателей, умение решать задачи, дает представление об особенности личности кандидата. Однако в целом такая оценка может дать несколько ложные представления о человеке, ведь само по себе устройство на новую работу – это стресс. А прохождение тестирования – тем более.

Чтобы лучше узнать кандидата, необходимо уточнить факты его биографии. Возможно, он что-то скрывает. Например, судимости или наличие нескольких кредитов, которые не выплачивает. Для многих организаций такое неприемлемо. Быстро и без лишних трат проверить человека можно через сервис проверки уровня благонадежности кандидата от SpectrumData.

Ресурс раскроет все тайны претендента на место в вашей компании:

На сайте SpectrumData вы найдете несколько пакетов по проверке соискателей и выберете наиболее подходящий по наполнению и цене.