A/B-тест страницы услуги при небольшом трафике: когда результату можно доверять
A/B-тест сравнивает варианты страницы при заранее заданных условиях. Для малого бизнеса первая трудность — достаточное число наблюдений, а не наличие кнопки запуска эксперимента. Несколько заявок не позволяют надёжно различить близкие конверсии.
До старта нужно определить единицу наблюдения, целевое событие и минимальное изменение, которое имеет практический смысл. Клик по кнопке и подтверждённая пригодная заявка дают разные выводы о странице услуги.
Что зафиксировать заранее
В паспорте эксперимента указывают гипотезу, варианты, распределение, показатель, окно наблюдения и правило завершения. Группы формируют случайно по заранее выбранной единице наблюдения. Пользователь должен получать вариант последовательно по выбранной схеме. Формула планирования предполагает независимые наблюдения и сопоставимые условия. Повторные просмотры одного человека нельзя без объяснения считать независимыми покупателями.
Одновременно меняющиеся объявления, география и предложение осложняют сравнение. Важно также проверить доставку события: ошибка одной формы может выглядеть как проигрыш текста.
| Решение до запуска | Зачем оно нужно |
|---|---|
| Основное событие | Не выбирать победителя по удобной метрике после теста |
| Практический эффект | Понимать, какую разницу требуется обнаружить |
| Выборка | Оценить выполнимость при текущем трафике |
| Правило завершения | Не останавливать тест при первом удобном числе |
Как оценить нужную выборку
Ниже используется приближённая модель сравнения двух долей с равными группами: двусторонний уровень значимости 5% и мощность около 80%. Базовая и ожидаемая конверсии задаются до запуска. Penn State разбирает выборку для сравнения долей и условия нормального приближения.
В калькуляторе используется формула n ≈ 2 × (1,96 + 0,842)² × p̄ × (1 − p̄) / (p1 − p0)², где p̄ = (p0 + p1) / 2. n относится к одному варианту. Это планирование при заданных предположениях, не оценка значимости уже завершённого теста.
Для условного перехода с 5% до 6% потребуется примерно 8,2 тысячи наблюдений на каждый вариант. Если общий подходящий трафик мал, такой тест может оказаться непрактичным. Смена ожидаемого эффекта в калькуляторе не создаёт дополнительный трафик.
Что делать, когда данных не хватает
Можно сначала исправить подтверждённые ошибки: неработающую форму, непонятную цену или отсутствие нужного условия. Для этого не обязательно объявлять A/B-победителя. Пользовательские проверки и разговоры с клиентами помогут найти причины, хотя не дадут автоматической оценки прироста конверсии.
Для статистического эксперимента выбирают выполнимую задачу с достаточным потоком и устойчивым событием. Более ранняя метрика увеличивает число событий, но меняет бизнес-вопрос. Рост кликов по кнопке может не сопровождаться ростом качественных обращений.
Как описать итог честно
В результате сохраняют размеры групп, события, периоды, изменения условий и выбранный метод анализа. «Данных недостаточно для вывода» — возможный итог. Он не означает равенство вариантов и не доказывает отсутствие практически важной разницы.
Многократный просмотр результата и остановка при удобном значении требуют подходящего метода последовательного анализа. Обычную фиксированную модель нельзя незаметно использовать как такой метод.
Для оценки рекламного потока перед экспериментом пригодится разбор бюджета теста. Обсудить проверку страницы и измерение.