Как тестировать гипотезы в маркетинге

Составление гипотез: ключ к успешным экспериментам

В документе, резюмирующем наше исследование, мы должны ответить на следующие 5 вопросов: кто наш пользователь, какие проблемы он испытывает, какие потребности у него есть, и какие особенности его поведения.

Портрет и потребности пользователя

Чтобы продолжать это понимание, необходимо провести дальнейшие исследования, чтобы понять, как пользователи планируют свои покупки, какие разочарования они испытывают, а также как можно решить эти проблемы.

Исследование пользователя – отличный инструмент для погружения в роль клиента. Это помогает лучше понять, что чувствует и хочет пользователь, а также определить необходимую информацию.

Формирование гипотез и экспериментов

Без генерации идей, формирования гипотез и проведения маркетинговых исследований рост бизнеса невозможен. Перевод гипотез в эксперименты позволяет снизить риск на пути к достижению цели.

Чтобы выбрать гипотезы для экспериментов, можно использовать метод ICE Score. Этот метод предполагает проставление оценок гипотезе по шкале и вычисление их общей оценки. Оценка проводится по показателям Impact, Confidence и Ease, что помогает выявить наиболее значимые гипотезы.

Приоритизация гипотез

После сбора гипотез можно использовать такие методики, как ICE и RICE, для приоритизации. Оценка гипотез становится оправданной, когда участники имеют хороший уровень экспертизы и вовлечены в проект.

Методы ICE и RICE помогают определить наиболее значимые гипотезы, что способствует успешным экспериментам.

Михаил Свердлов, консультант по образовательным продуктам и аналитик, автор Telegram-канала Образование, которое мы заслужили

Экспериментирование и оптимизация в бизнесе: ключевые моменты

Чтобы сделать результаты скоринга точными, я бы рекомендовал вводить вес голосов участников. Например, если человек регулярно показывает хороший перформанс в продукте и делает успешные решения, его голос обладает коэффициентом х2. Голоса остальных ребят — коэффициентом х0.5.

Прозрачность и объяснение коэффициента

Главное быть прозрачными и объяснить команде, от чего зависит этот коэффициент, чтобы все было экологично и не было обид.

Как проверить гипотезу бизнес-идеи?

Эксперимент тоже нужно проводить правильно, последовательно и продумывать каждый шаг, чтобы избежать бессмысленных действий, которые ни к чему не приведут.

Грамотное описание эксперимента

В первую очередь следует грамотно описать эксперимент и чётко определить:

• Цель эксперимента
• Методика проведения
• Ожидаемые результаты

Пример гипотезы: если сократить форму онлайн-заявки с 4 до 3 шагов, конверсия в регистрацию увеличится с 3 до 4-5%, так как аналитика показывает, что пользователи уходят именно с 3 шага, не завершая регистрацию.

Методика HADI-цикла

Одной из самых простых методик для тестирования маркетинговых гипотез считается HADI-цикл. Метод включает 4 этапа:

1. Hypothesis (Гипотеза)
2. Action (Действие)
3. Data (Данные)
4. Insight (Инсайт)

Использование метода для постоянной проверки гипотез

HADI-цикл удобно применять для постоянной проверки гипотез и получения новых данных для развития бизнеса.

Методы проверки гипотез

Для проверки гипотез можно применять разные методы и инструменты. Бизнес — это бесконечная цепочка гипотез и экспериментов. Чем больше экспериментов, тем больше инсайтов, которые смогут привести к росту бизнеса.

Оптимизация бизнес-процессов

Важно не только думать о росте прибыли, но и о том, как оптимизировать процессы. Оптимизация способствует экономии и высвобождению времени на важные задачи.

Преимущества при открытии расчётного счёта в СберБанке

При открытии расчётного счёта для бизнеса в СберБанке предоставляются сервисы для оптимизации бизнес-процессов, включая:

• Управление счетами
• Оплата через интернет
• Мобильный банк и другие возможности

Как сэкономить бюджет при тестировании гипотез

Гипотеза сформулирована. Дальше стоит учесть несколько моментов.

Шаги для тестирования гипотез

Когда тестируем гипотезы, следует идти по определенному списку:

1. Формулирование гипотезы
2. Планирование эксперимента
3. Проведение тестирования
4. Анализ результатов

Например, работа с гипотезой у онлайн-школы, которая пытается повысить процент пользователей, совершающих повторные покупки.

Важность гипотез в бизнесе

Гипотезы могут быть о различных аспектах, таких как улучшение интерфейса, навигации, пользовательского опыта, конверсии и др. Процесс тестирования гипотез позволяет оптимизировать бизнес-процессы и достигать новых результатов.

Организация процесса тестирования гипотез

Как сэкономить несколько десятков миллионов рублей на тестировании гипотез в команде и организовать процесс эффективно?

Время на прочтение: 10 минут

Автор: Андрей Божьев, founder booktech-стартапа Relolib, ex-CMO бизнес-единицы Дошкола ИнтернетУрок

• Ясно определен ли пользовательский сценарий
• Пропущен ли фактор бизнесв цитивирования
• Понятен ли критерий успеха
• Сколько времени займет проверка
• Есть ли инсайты, обосновывающие гипотезу

Hypothesis

Здесь мы формулируем гипотезу в формате Если, то, где если это действие, а то – ожидаемый результат. Ее необходимо добавить в Jira и присвоить все нужные метки.

Опишите, пожалуйста, в решении всех пунктов:

• Текст формулировки
• Команду (первый владелец и второй владелец)
• Затрачиваемое время на проверку
• Метки
• Список проверяемых гипотез
• Комментарий в Jira

Hypotheses Backlog

На этом этапе составляем список всех гипотез, которые мы планируем проверить, а также определяем приоритет и сроки для каждой из них. Примерно через 2-3 месяца после начала тестирования вам станет понятно, какие гипотезы стоит проверить, а какие отложить или отклонить.

Hypothesis Testing Plan

На последнем этапе разрабатываем план проверки гипотезы, определяя метрики успеха, способы их измерения, условия проверки и оценку результата.

Таким образом, эффективное тестирование гипотез в продуктовой команде позволяет создать устойчивые и инновационные продукты, а также принимать обоснованные решения на основе фактов. Если вам нужна помощь в этом процессе, обращайтесь ко мне.

План работы с гипотезами

Если вам нужна помощь с тестированием гипотез или внедрением этого процесса в вашу компанию – обращайтесь.

Бэклог

Бэклог гипотез решений включает проблемные гипотезы, которые были подтверждены владельцем продукта и аналитиком. Для будущей работы над гипотезой будет лучше, если каждая карточка будет оформлена в соответствии с приведенным ниже шаблоном.

Гипотеза проблемы

Пожалуйста, опишите проблему, которую вы решаете и предоставьте любую полезную информацию о гипотезе. Почему мы должны ее рассматривать?

Пример:
В результате опроса по телефону мы выяснили, что нашим пользователям не нравится ярко-красный цвет кнопки Купить, так как он слишком навязчивый и я думаю, что из-за этого они меньше на нее нажимают.

Быстрая проверка

Результаты быстрой проверки для следующих показателей:

• доля пользователей или партнеров, затронутых проблемой;
• регионы, затронутые проблемой;
• устройства и операционные системы с проблемой;
• доля выручки.

Пример:
По результатам быстрой проверки на данных мы увидели что:

• доля пользователей с такой кнопкой составляет 40%, так как такая кнопка отображается только у пользователей desktop-версии сайта;
• все регионы;
• desktop-версия сайта;
• доля выручки составляет всего 15%, так как наши мобильные пользователи покупают активнее.

Гипотеза решения

Опишите что бы вы хотели изменить или протестировать:

• гипотеза о решении какой-то проблемы в продукте;
• предложение о том, что мы могли бы изменить в продукте и как это изменение повлияет на ключевые показатели продукта.

Пример:
Давайте покрасим кнопку в более приятный глазу цвет, что поспособствует увеличению количества кликов на нее. Также это повысит нашу выручку и долю платящих пользователей в desktop-версии сайта.

Метод оценки гипотез

Пожалуйста, укажите, если известно, какой метод вы хотели бы использовать для проверки гипотезы:

• A/B test;
• Fake Door test;
• UX research;
• Process Mining research.

Пример:
Проверить гипотезу хотелось бы через A/B test.

Автор

Человек, придумавший идею.

Prioritization

Продукт обычно имеет большое количество гипотез и важно уметь правильно их приоритизировать.

Одним из самых простых и классических вариантов является скоринг гипотез на основе Value & Effort. Однако, вы можете использовать более сложные модели, например ICE или RICE для расчета скорингового балла для каждой гипотезы.

На данном этапе осуществляется проверка гипотез, которая состоит из двух этапов:

Что такое Value & Effort

Value & Effort — это метод приоритизации, который позволяет оценить ценность задачи и уровень усилий, необходимых для ее выполнения. Этот подход обеспечивает системность при принятии решений.

Каждую задачу, которую вы считаете важной для проекта, оцениваете по этим двум параметрам. Далее, выбираете задачи с высокой ценностью, которые требуют от вас или вашей команды минимальных усилий. Это и будут ваши приоритеты.

Важно помнить, что при такой приоритизации существует риск отодвинуть долгосрочные проекты, которые хоть и обладают высокой ценностью, но требуют очень больших усилий. Учитывайте это при планировании работ и подумайте об альтернативах, позволяющих сократить усилия (например, Fake door тест, вместо реального A/B).

Что отличает «Value & Effort» от других методик приоритизации? Большинство методов сконцентрированы либо на количественной, либо на качественной оценке, в то время как «Value & Effort» сочетает в себе оба подхода. Таким образом, вы учитываете как стратегическую ценность, так и реальные ресурсы. В итоге, вы можете принимать обоснованные решения.

Ready

Именно тут владельцу продукта, команде разработки, дизайнерам и аналитику нужно финально договориться о методе проверки гипотезы, так как каждый из методов имеет разные трудозатраты.

Также нужно описать то, по каким критериям будет оцениваться успешность или неуспешность эксперимента.

Важные атрибуты: длительность, выборка и критерии. Эксперимент лучше описывать четко и поэтапно, а в критериях указать то, как изменится заявленная метрика, какие ее показатели можно считать основаниями для того, чтобы эксперимент мог считаться успешным.

Например, если ваша метрика увеличение конверсии на 2%, в результатах эксперимента вы должны увидеть это увеличение и оно должно быть статистически значимо.

Research

На этом этапе происходит вся магия эксперимента, в конце которого мы будем решать, выпускать фичу в продукт или нет. Эксперимент может быть реализован с помощью:

Review

На этом этапе проводится анализ результатов и подводятся итоги эксперимента. После этого принимается решение об успешности проверяемой гипотезы и выпуске фичи в продукт на основе критериев определенных на этапе подготовки (Ready).

По итогам обязательно должен быть создан артефакт в виде статьи в Confluence или Notion со ссылкой на задачу в бэклоге гипотез, дизайном эксперимента и результатами. Потом из таких артефактов можно будет легко собирать удобные списки всех проведенных экспериментов.

Done

Это окончательный статус, который имеет три возможных итога:

Как формулировать гипотезу

К тестированию гипотез в бизнесе прибегают лишь при работе с определенным рыночным сегментом или его отдельными представителями.

Для поиска гипотезы анализируют клиентский путь в компании, пути у конкурентов, тип рынка и каналы продаж. Специалисты советуют использовать при этом инструмент Customer Journey Map.

На первом этапе фиксируются тезисы, пригодные для дальнейшей проверки.

Для тестирования гипотез в маркетинге необходимо точно сформулировать:

Adventum использует сервис продуктовой аналитики Amplitude, благодаря которому можно получать ещё больше инсайтов о продукте и выстраивать более сложные гипотезы. Являются единственными его реселлерами в России и СНГ (Эксклюзивный партнёр Amplitude в России и СНГ). Узнать о возможностях сервиса и посмотреть кейсы можно по ссылке amplitude.adventum.ru.

Для выстраивания логически верной, структурированной гипотезы применяются методы приоритизации идей. Они позволяют дать оценку тем или иным проектным задачам, а также сформировать логичный и пошаговый план создания и вывода товара для реализации.

Есть некоторые параметры, которые указывают на грамотно сформулированную гипотезу:

Лучше объяснить специфику на конкретном примере. Вопрос, эффективна ли СМС-рассылка для ресторанного бизнеса, не является отличной гипотезой. Необходимо внести в предложение конкретику, а также продумать, как получить данные для подтверждения ее работоспособности. Вопрос, с помощью какого инструмента можно привлечь дополнительную аудиторию в ресторан на утренние часы работы – SMS или MMS, уже можно считать хорошей гипотезой, достойной для проверки.

25 рабочих гипотез для увеличения конверсии Проверено на 150+ проектахразбор кейсовобзор топ 5 сервисовгайд по сквозной аналитике

Конечно, тестирование маркетинговых гипотез различается из-за особой специфики бизнеса, а значит, и методики с инструментами для работы тоже различны.

Как правильно сформулировать гипотезу

Перед началом теста любой гипотезы — маркетинговой или продуктовой — надо корректно ее сформулировать и определить исходную точку «А» и финальную точку «Б».

Шагов тестирования гипотезы

Гипотезы могут быть настолько трудными в проведении проверки, масштабными, сложными по своему составу, что на некоторые из них отводятся месяцы и даже годы. Другие же возможно проверить за пару недель. Все тестирования гипотез продукта делятся на этапы. Стоит осветить подробнее план проверки:

Шаг 1. Выбор объекта для проведения теста с целью улучшения. Это может быть объем охвата, конверсия и т. п. Веб-аналитика, сквозная аналитика, а также внутренняя CRM поможет определить самую нуждающуюся в тестировании опцию.

Шаг 2. Формулирование гипотезы, пригодной для доказательства или опровержения в процессе обработки и анализа данных. Иногда может случиться так, что гипотеза не найдет подтверждения. Такой результат возможен, нужно развивать предложение дальше, до разумного результата.

Шаг 3. Определение переменных. Надо зафиксировать возможные изменения (как положительные, так и отрицательные), касающиеся объекта исследования, которые могут случиться в процессе корректировки. К примеру, количество людей-подписчиков станет больше или меньше – такие изменения и нуждаются в тестировании.

Шаг 4. Определение сроков тестирования. Чаще всего тестирование от начала до полного завершения длится месяц, но может и больше, все зависит от самой гипотезы. Нужно учитывать фактор сезонности, выбранный метод и многое другое. К примеру, A/B-тестирование не должно длиться меньше 14 дней.

Шаг 5. Проведение проверки нулевой гипотезы и альтернативной. Нулевая гипотеза представляет собой нейтральное утверждение, в то время как альтернативная может говорить о наличии статистически значимых различий.

Шаг 6. Настает черед анализа полученных результатов. В этот момент становится понятно, какая гипотеза из двух озвученных выше подтверждается. Когда исследуемая гипотеза не доказана, важно разобраться в причине этого и отправить материалы на доработку.

Шаг 7. В финале происходит внесение изменений, проводится работа над ошибками, а также проверка новой гипотезы. Когда исследуемая гипотеза находит подтверждение, она внедряется в работу. Если результат работы отрицательный, то:

Все шаги повторятся вновь, пока не будет достигнут желаемый результат.

Постановка исследовательского вопроса

Хорошая гипотеза рождается из наблюдений. Допустим, у нас есть интернет-магазин ноутбуков, и наш клиент обнаружил, что в их бизнесе слишком мало лояльности и доверия со стороны клиентов. После этого вывода мы формулируем проблему клиентов относительно бизнес-целей и исследовательский вопрос. Он точно указывает на то, что мы хотим выяснить в своей работе. Хороший исследовательский вопрос необходим для того, чтобы сформулировать будущие гипотезы.

Все наши исследовательские вопросы должны:

Самое интересное – формулируем гипотезу

С полученными данными предполагаем, какие изменения в интерфейсе или функционале могут улучшить различные показатели. Гипотеза должна быть конкретная, чётко сформулированная и измеримая.

Мне нравится формулировать гипотезу как утверждение –

“Если в карточке товара будет обзор от популярного блогера, то покупатели станут более лояльными к нам, что уменьшит количество уходов с сайта на 15%”

Признаки сильной гипотезы:

Из чего состоит формулировка:

Часто задаваемые вопросы о тестировании гипотез

Для этого надо начать с тестирования того, что не слишком отличается от уже имеющегося. Нужно также выбрать ту методику тестирования, которая больше других отвечает вашим запросам. К примеру, для выбора расположения текста на странице лучше обратиться к A/B-тесту, а не разворачивать обширное и затратное маркетинговое исследование.

Что из себя представляет тестирование статистических гипотез?

Статистическая гипотеза – это то или иное предположение, которое касается свойств или вида распределения случайных величин, требующее экспериментальной проверки. Обычно подобные гипотезы выдвигают при имеющихся сомнениях о случайности или закономерного следствия какого-то явления. Проверка статистических гипотез является содержанием одного из обширных классов задач математической статистики.

Какому бизнесу необходимо тестирование гипотез?

Лучше определиться с теми, кому тестирование не требуется совсем. К примеру, тем организациям, которые торгуют товарами первой необходимости и повышенного спроса.

В статистике на основе тестирования гипотез нуждаются новички в бизнесе, которые только нащупывают нишу для торговли и сомневаются, что их выбор верен.

С помощью тестирования гипотез можно выбрать верный путь развития бизнеса, который окажется очень прибыльным. Важно лишь правильно сформулировать идеи и заранее определить метрики для получения точных оценок.

Какие задачи решает A/B тестирование?

Искусство продвижения продукта в условиях жестокой бизнес-конкуренции требует не только креативных идей и умения анализировать рынок, но и способности грамотно реализовывать маркетинговые стратегии.

A/B тестирование важно для успешного продвижения продукта и привлечения большего количества клиентов, потому что позволяет проверить, что работает и что не работает для вашей аудитории.

Что такое продвижение, какое бывает и для чего оно нужно

A/B тестирование предназначено для тестирования двух разных версий продукта, чтобы определить, какая из них работает лучше. Существует много задач, которые можно решить при помощи A/B тестирования, но мы расскажем о самых часто используемых.

1. Увеличение конверсии.

Тестирование помогает узнать, какой вариант продукта (например, заголовок, текст или макет) работает лучше и привлекает больше клиентов.

2. Улучшение пользовательского опыта.

A/B тест позволяет выявить, какие изменения в дизайне или функциональности помогут сделать продукт более удобным и интересным для пользователей.

3. Оценка эффективности маркетинговых кампаний.

Тест может помочь определить, какие каналы продвижения работают лучше, и какие изменения в маркетинговой стратегии нужно внести, чтобы увеличить количество клиентов.

4. Проверка гипотез.

A/B тестирование позволяет проверять разные гипотезы без необходимости делать лишние изменения.

5. Уменьшение рисков.

A/B тест предупреждает о возможных потерях, из за новых изменений, благодаря тому, что тестирование проводится на небольшой группе пользователей.

Инструменты для работы с A/B тестами

Существует множество инструментов для проведения A/B тестирования и выбор каждого зависит от ваших целей и бюджета. Ниже мы перечислим самые популярные.

1. Платформы для A/B тестов, которые помогают создавать и запускать эксперименты на сайте без необходимости вдаваться в программирование: Google Optimize, Optimizely, VWO и AB Tasty. Они позволяют проводить различные виды тестов: A/B, Split URL, многовариантные и другие. Через них удобно тестировать разные элементы страницы, включая заголовки, тексты, цвета и сайтовые формы.

2. Инструменты для создания вариантов страниц, такие как WordPress и Adobe Experience Manager. Они помогут быстро создавать и изменять версии страниц для теста.

3. Аналитические инструменты, такие как Google Analytics, помогают отслеживать результаты теста и измерять их эффективность. С помощью Google Analytics можно узнать, как пользователи взаимодействуют с новыми версиями страницы, сколько времени они проводят на сайте, какие страницы наиболее популярны, какие действия пользователи совершают на сайте и многое другое.

4. Email-маркетинговые платформы полезны для тестирования эффективности email-кампаний и улучшения конверсии. Некоторые платформы, такие как Mailchimp, GetResponse и Sendinblue, предоставляют инструменты для создания и тестирования различных вариантов писем, которые будут отправлены на целевые группы.

5. Утилиты для определения проблем и проведения исследований: Hotjar или CrazyEgg. Они помогают понимать, как пользователи взаимодействуют со страницей и какие элементы их привлекают. Так можно поменять размещение элементов на странице, исправить баги и улучшить общий опыт использования.

6. Инструменты для оптимизации скорости загрузки страниц, такие как GTmetrix или PageSpeed Insights. Помогают выявить проблемы со скоростью загрузки вариантов страниц, которые могут влиять на результаты A/B тестирования. Использование CDN ускоряеь загрузку страниц.

Как провести A/B тест?

Если вы хотите провести A/B тест, то для этого нужно выполнить следующие шаги.

1. Определите, что вы хотите проверить. Например, вы можете проверить, что лучше привлекает внимание клиентов – заголовок, изображение или описание продукта.

2. Разделите клиентов на две группы: контрольную и экспериментальную. Контрольная группа увидит первоначальный вариант (версию A), а экспериментальная – изменённую версию (версию B).

3. Разработайте план тестирования. Определите время и дату начала и окончания теста, количество участников в каждой группе, метрики и критерии, по которым будет оцениваться эффективность каждой версии.

5. Проанализируйте результаты теста и сравните эффективность правок версии B с версией А. На основе этого сделайте выводы о том, какая версия работает лучше и улучшите её.

6. Повторите тестирование, чтобы определить, действительно ли изменения привели к лучшим результатам.

A/B тестирование – это сложный процесс, который требует внимательного анализа и планирования. Тем не менее, если вы выполняете каждый шаг внимательно, то A/B тестирование может значительно улучшить продукт и привести к увеличению прибыли и клиентской базы.

Исследование ЦА состоит из нескольких важных этапов

Результаты тестирования могут оказаться неожиданными. В конечном итоге, A/B тестирование является экспериментом, а эксперименты могут давать незапланированные результаты. Поэтому, важно проводить тестирование с учетом того, что критерии успешности могут отличаться в зависимости от конкретной ситуации и целевой аудитории.

Таким образом, A/B тестирование является мощным инструментом для повышения конверсии, увеличения прибыли и улучшения опыта клиентов. Оно помогает продуктам конкурировать на рынке, привлекать больше клиентов и удерживать их в будущем. В результате, применение A/B тестирования может стать главным фактором успеха в бизнесе.

Какой должна быть гипотеза и чем она отличается от идеи?

В первоначальном своём виде идея ещё не является гипотезой — в ней, как правило, не хватает конкретики. Гипотеза. в отличие от идеи. измерима.

Идея может звучать так:

Мы сможем увеличить конверсию в регистрацию. если сократим форму онлайн-заявки.

На этой идее можно построить гипотезу:

То есть гипотеза обычно содержит такие элементы:

Последний пункт может не фигурировать в гипотезе, если она строится исключительно на предположении. Но первые три пункта — это обязательные составляющие правильной гипотезы, которую стоит проверять.

Бывает так, что на основе идеи нельзя сформулировать гипотезу. От такой идеи лучше отказаться.

Для чего они создаются

У нас не бывает надежных догадок и предположений о том, что нужно пользователям. Поэтому мы используем гипотезы, чтобы проверить наши идеи и понять, что будет действительно интересно и полезно для нашей целевой аудитории.

Пример: мы хотим внедрить определенный функционал в интернет-магазин ноутбуков, но не знаем, будет ли это полезно для пользователей и приведет ли к увеличению конверсии. Наша гипотеза может звучать следующим образом: "Если мы добавим функцию сравнения товаров на странице продукта, то пользователи смогут быстрее и удобнее сравнить характеристики товаров, что приведет к увеличению конверсии на 10% и поможет избежать уходов с сайта".

🥷 Гипотезы создаются для проверки идей и понимания того, что будет действительно интересно и полезно для целевой аудитории. Они основаны на результатах исследований и прогнозируют, какие изменения и фичи приведут к увеличению конверсии и улучшению пользовательского опыта.

Лайфхаки по тесту гипотезы

Когда вы выбрали гипотезы, надо определить сроки эксперимента и бюджет. Обычно для теста хватает двух недель, а вот деньги — дело индивидуальное.

Но есть несколько лайфхаков, которые помогут не потратить их впустую.

Выбирайте самый дешевый способ теста из возможных

Помните, что гипотеза может не сработать (это нормально, на то она и гипотеза), поэтому важно выключать перфекционизм и не тратить слишком много ресурсов на ее проверку.

Перед запуском вебинара я часто предлагаю брендам запустить лид-магнит (например, чек-лист) со схожей темой и посмотреть интерес аудитории. Так мы не потратим деньги на продакшн и выясним интерес аудитории.

Сначала тестируйте спрос на продукт, потом вкладывайтесь в разработку

На физические товары можно предложить оформить предзаказ. Услуги или инфопродукты можно продавать с датой старта через несколько месяцев. Главное — сказать аудитории честно, что продукт еще не готов, и дать скидку за ожидание.

Если гипотеза не подтвердится — вернете деньги и отправите письмо с извинениями. Это дешевле, чем вложиться в разработку ненужного продукта.

Кирилл Пшинник, СЕО «Зерокодер»

Однажды мы запустили один из курсов по разработке, потратили много ресурсов, а первый вебинар показал ноль интереса и продаж. Теперь такие ошибки мы не повторяем.

В следующий раз уже не готовили заранее контент курса, а собрали только маркетинговую упаковку и провели несколько пробных вебинаров. По этим вебинарам поняли, что интерес к теме колоссальный — и только после этого начали подготовку самого курса.

Убедитесь в чистоте эксперимента

Не проверяйте одновременно гипотезы, которые бьют в одну и ту же цель.

Допустим, вы хотели увеличить количество покупок с главной страницы сайта. Для этого изменили описание продукта и сделали другую систему оплаты. То есть протестировали параллельно два изменения. Количество покупок при этом упало.

Неизвестно, потому что две гипотезы тестировались одновременно.

Синхронизируйтесь со всеми участниками проекта

Очевидно, но часто в спешке этот момент забывается. Одна часть команды решает, что инициатива хорошая, и запускает тест, а другая к нему не готова. Чтобы этого избежать, достаточно проводить регулярные статусы с командой.

Читайте по теме: Бизнес как море: 5 советов по управлению командой, чтобы не потопить проект

Дожидайтесь статистически значимых результатов

Иногда бывает так: вы начали тест, смотрите на результаты, они плохие.

Например, повысили цены на сайте, и покупок — ноль. Возникает соблазн снизить цены, поменять настройки в рекламном кабинете, как-то еще повлиять на эксперимент.

Такие действия приводят к ошибкам при измерении метрик, снижению точности результатов и некорректному анализу данных. Поэтому сначала дождитесь конца тестового периода, а уже потом корректируйте гипотезу.

Как выглядит процесс?

Процесс тестирования гипотез мы визуализировали на Kanban доске (см. картинку ниже), которую сделали в Jira. Получился беклог гипотез на Домен, Отдельные представления на каждый юнит и продуктовую команду.

В этап Ideas Backlog каждый участник команды может положить идею.

Любую идею product manager на следующем этапе должен превратить в продуктовую гипотезу. У хорошо описанных идей гораздо выше шансы попасть в бэклог на проверку.

Как описать идею?

Максимально детально опишите идею. Постарайтесь структурировать описание так, чтобы оно отвечало SMART критериям. Нам пригодится любая информация.

Вопросы, ответы на которые нам сильно помогут.

Источник. Опционально укажите, что является источником идеи, прикрепите ссылку на источник из базы

Этап Refinement

Продакт выбирает из ideas backlog одну идею для уточнения и проработки.

Закончив уточнение гипотезы, product manager берёт в работу следующую гипотезу.

Как сформулировать гипотезу?

Проверьте корректность заголовка.

Заголовок должен максимально ёмко отвечать на вопрос “Что нужно сделать?” и отражать суть гипотезы.

Изначальная формулировка идеи: Предлагать пользователю доп аксессуары при покупке смартфона.

Если мы будем предлагать пользователю добавить в корзину аксессуары при выбранном смартфоне, то увеличим средний чек покупки на Х % .

Переработайте и расширьте изначальную формулировку идеи, чтобы она максимально раскрывала гипотезу.

Некоторые вопросы которые помогут раскрыть идею:

В карточку Гипотезы в Jira мы вшили следующий шаблон, который автоматически заполняется при создании новой гипотезы:

Этап Hypothesis backlog

Исходя из собранных знаний о гипотезе, следует провести её оценку.

Оценка проводится коллективно, путём голосования в закрытую. В итоговый расчёт идёт среднее.

В голосовании участвуют:

Задача ответственного продакта – убедиться, что гипотезу оценили все люди, необходимые для точной оценки.

Если в оценках большой разброс – значит, гипотезу люди воспринимают неоднозначно и это сигнал к синхронизации/ доработке.

Оценка может и должна регулярно пересматриваться по мере появления новых знаний о гипотезе.

После этапа Refinement гипотезы требуется оценить по ICE.

Результат: Команда имеет оцененный бэклог и понимает какие гипотезы пойдут на следующий этап.

Стратегия компании и фокус меняется со временем, появляются новые вводные. Поэтому оценки необходимо пересматривать. Для нас пересмотр оценок был раз в квартал.

Этап Next

Важный этап выбора гипотез в работу. Раз в неделю команда собирается на планирование Discovery спринта и выбирает следующую гипотезу в работу, на основе ICE приоритета и общей дискуссии. Лимит на данную колонку = 1 в один момент времени.

Также на этой встрече команда решает каким способом они будут тестировать гипотезу и формирует план проверки гипотезы декомпозируя гипотезу на задачи которые необходимо сделать чтобы ее проверить.

Важно убедиться на встрече что есть ответы на все вопросы (часть из них может быть проработана ДО планирования”

Этап Discovery и инструменты проверки гипотезы

Один из самых важных этапов на котором осуществляется проверка гипотезы и запускается эксперимент

Главная задача Discovery Team на этом этапе – как можно меньшими ресурсами как можно точнее подтвердить или опровергнуть гипотезу.

Подумайте, как вы будете проверять гипотезу.

Понятно, что лучшая проверка гипотезы – рабочий продукт и реальные цифры. Но не всегда целесообразно применять весь арсенал способов для проверки.

Ваша задача – найти самый быстрый и дешёвый способ без привлечения разработки (или с минимальным ее привлечением).

При выборе набора инструментов руководствуйтесь пониманием о цене ошибки и цене упущенной выгоды.

Как пример, проверка гипотезы точно не должна быть дольше и дороже, чем воплощение задачи "на бою".

Некоторые возможные инструменты проверки:

И много других.

Итоговый дизайн эксперимента может совмещать в себе несколько способов проверки гипотезы.

Важно не менять условия эксперимента по ходу его проведения, это может отразиться на корректности результатов и честности выводов.

Подведите итоги эксперимента.

Этап Discovery done

Примите решение о дальнейших шагах.

По итогам гипотеза может либо превратиться в задачу и быть отправлена на следующий этап – Requirements, либо закрыта как неподтвержденная или нецелесообразная – перейти на этап Bin (корзина).

Также на этом этапе у нас был обязательный критерий, проведено review другими продактами. В конце Discovery спринта у нас была встреча Sprint review на которой каждый продакт рассказывал о результатах эксперимента и выводах, далее остальные продакты и участники Discovery команд накидывали вопросы. Это очень помогало шэрить знания, обмениваться опытом и задавать друг другу правильные вопросы.

Этап Requirements

На любом этапе процесса мы можем отказаться от Гипотезы и перевести ее в статус Bin с соответствующим комментарием и обоснованием.

Этап Ready to Delivery

Подтвержденные гипотезы храняться в беклоге на разработку. Здесь же проводиться оценка по ICE по такому же принципу как я описал выше. Далее уже при планировании разработки вытягивается следующая задача находящиеся сверху.

Метрики

Для того чтобы отслеживать эффективность процесса мы внедрили ряд метрик.

Ключевая метрика успеха Discovery процесса:

% зеленых тестов после разработки фичи. Что такое зеленый тест? Если после разработки любой фичи она проходит А/В тест и версия с новой фичей показывает рост метрик, то тест зеленый, если роста нет – серый, если провал по метрикам – тест красный.

Discovery процессы нам нужны для того чтобы увеличивать confidence (уверенность в том что фичу нужно делать) и тогда после ее разработки % зеленых тестов будет выше. Для этого мы и начали строить процессы Discovery.

Но на количество зеленых тестов сходу не повлияешь, для отслеживания прогресса нужны контр метрики, через которые мы можем влиять на % зеленых тестов, например:

Данные метрики анализировались на каждой ретроспективе после Discovery спринта. Мы смотрели динамику и то, как у нас работает процесс, как меняются контр метрики и как от них зависит целевая метрика.

Как процессы Discovery экономят деньги?

Процессы Dsicovery улучшают confiedence, уверенность в том, что фичу нужно делать. Поэтому при успешных процессах Discovery количество задач приносящих эффект увеличивается, а следовательно вы экономите деньги на разработанных впустую фичах.

Как анализировать результаты

Если вы тестировали не абсолютно новый продукт, а какое-то изменение, подойдет вот этот калькулятор. Он поможет понять, был ли результат статистически значимыми и стоит ли внедрять изменение.

Читайте по теме: Секреты A/B-тестирования: метрики, сроки и фичи, которые невозможно проверить

Не обманывая себя

Подсознательно всегда хочется, чтобы гипотеза оказалась удачной. Из-за этого легко попасть в когнитивную ловушку и уговорить себя, что результаты, которые не дотягивают до идеальных, можно считать успехом.

Допустим, мы решили, что гипотеза подтвердится, если покупку сделают 50% из зарегистрировавшихся на вебинар. По результатам проверки гипотезы покупку делают немного меньше. Допустим, 30%. Но мы все равно считаем, что гипотеза подтверждена, — покупки же есть.

Чтобы не допустить эту ошибку, сверяйте результаты теста с тем, что хотели получить изначально. Если результаты хуже запланированных, изменение лучше не внедрять.

Не забывая про главное

При проверке гипотез самый главный показатель — деньги. Все остальные — конверсии, количество заказов — производные метрики.

Если вы проверили гипотезу и у вас ноль продаж, гипотеза провалена. Если есть спрос и продажи, гипотезу нужно докручивать и масштабировать.

Выводы

Тестирование гипотез помогает находить те верные решения, которые позитивно влияют на развитие бизнеса и помогают повышать продажи. Главное — чётко формулировать идеи, а также заранее определять метрики для их оценки.

Опровергать или подтверждать гипотезы можно с помощью различных методик. Чаще всего компании пользуются простым A/B-тестированием и ICE Score-анализом, чтобы улучшить юзабилити своих сайтов и наладить коммуникацию с клиентами. Если идей много или компания только планирует выходить на рынок, есть смысл на старте заказать масштабное исследование.

Ободряющий вывод

Большинство гипотез в стартапах не подтверждаются. Чтобы в этой ситуации сохранять мотивацию, помните:

опровергнутая гипотеза так же важна, как и успешная.

Она помогает отсечь не вашу аудиторию, не ваш маркетинговый канал — отказаться от невостребованного продукта.

А значит, с каждым тестом вы на шаг ближе к росту проекта.

Иллюстрации предоставлены автором

Фото на обложке сгенерировано нейросетью Midjourney

Итог

Описанный бизнес-процесс не истина в последней инстанции и в вашем случае он может быть совершенно другой.

Моей целью было донести до вас идею о том, что работу с гипотезами важно систематизировать. Такая системность позволит вам накопить базу знаний, которая принесет синергический эффект и окажет положительное влияние на успех продукта.