Product UpdateРазвитие цифровых продуктов

Метрики

В A/B-тесте не сходятся размеры групп: где искать причину

Материал обновлён 03.11.2026.

Планировали равные группы, а в отчёте участников заметно больше в одной из них. Сравнивать конверсию сейчас рискованно: часть людей могла исчезнуть на пути от распределения до отчёта. Разберём этот путь по шагам.

Главная мысль

Размеры групп оценивают относительно запланированного распределения и объёма данных. Причину расхождения ищут до интерпретации эффекта эксперимента.

Почему одного взгляда на проценты недостаточно

Перекос долей участников называют Sample Ratio Mismatch, или SRM. Он возникает, когда наблюдаемое распределение между вариантами статистически отличается от запланированного. Это сигнал о качестве данных эксперимента, а не объяснение конкретной поломки.

Разница 51% против 49% сама по себе ещё не даёт ответа. При малом числе участников такое отклонение может укладываться в случайный разброс, а при большом - стать сильным предупреждением. Microsoft рекомендует проверять исходные количества статистическим тестом, например критерием хи-квадрат, до анализа эффекта.

Порог и способ расчёта должен утвердить специалист, отвечающий за статистику эксперимента. Я не выбираю его задним числом после просмотра метрик и не заменяю расчёт визуальной оценкой диаграммы.

Где могут исчезнуть участники

Для проверки я раскладываю эксперимент на четыре участка. Сначала система назначает пользователю вариант. Затем продукт показывает соответствующий опыт и записывает факт показа. После этого события попадают в хранилище и соединяются с другими данными. Наконец, запрос анализа применяет условия и фильтры.

Исследование Microsoft описывает причины SRM на каждом участке: ошибки распределения и идентификаторов, разное поведение вариантов, потери или соединения журналов, а также условие анализа, которое зависит от тестируемого изменения. Поэтому фраза "группы случайно получились разными" не закрывает диагностику.

Особенно осторожно я отношусь к выборке только "затронутых" пользователей. Если в новом варианте появилось событие, которого нет в контроле, фильтр по этому событию заранее оставит группы несопоставимыми.

Карточка диагностики распределения

Карточку заполняют до обсуждения победившего варианта. Она связывает предупреждение с проверяемыми местами системы:

  • План: варианты, ожидаемые доли, единица распределения и момент назначения.
  • Наблюдение: число назначенных и число попавших в анализ по каждому варианту, период и версия запроса.
  • Проверка: использованный тест, заранее выбранный порог и полученное значение.
  • Время: когда расхождение появилось и совпало ли оно с изменением конфигурации, релизом или обработкой данных.
  • Сегменты: платформа, версия приложения и другие заранее обоснованные группы, где перекос усиливается или исчезает.
  • Путь данных: назначение, показ, запись события, загрузка, соединение и фильтры.
  • Решение: кто ищет причину и какие результаты запрещено интерпретировать до исправления.

Если платформа уже показывает SRM, я всё равно сохраняю в карточке исходные количества и условие анализа. Один красный индикатор помогает остановиться, но не объясняет, какой этап нужно исправить.

Одинаковое отношение может означать разное

В официальной документации Microsoft Learn приведён учебный ряд с отношением 1,05 между вариантом и контролем. При 105 и 100 участниках указано p-value 0,7269, а при 10 500 и 10 000 - 0,0005. Процентное отношение одинаковое, но объём данных меняет результат статистической проверки.

Этот пример объясняет, почему нельзя назначить универсальный допустимый разрыв в процентах. Он не задаёт порог для другого продукта и не подтверждает качество конкретного эксперимента. В собственной карточке нужны фактические количества, план распределения и согласованный метод.

Учебный пример для команды: отчёт показывает 52% и 48%, а график конверсии выглядит убедительно. Правильный следующий шаг - получить количества и проверить распределение, а не выбирать вариант по величине эффекта. До этого график остаётся наблюдением из данных с неизвестной сопоставимостью групп.

Как искать причину и когда вернуться к метрикам

Сначала повторите проверку на всех назначенных участниках без условия "увидел новую функцию". Если перекоса нет, изучите условие отбора и наличие одинаковых событий в контроле и новом варианте. Если он остаётся, посмотрите момент появления и сегменты: так можно отделить локальную проблему клиента от общей ошибки распределения или обработки.

Затем проверьте идентификатор и повторное назначение, различия в сбоях и перенаправлениях, доставку журналов, соединения таблиц и последние правки запроса. Каждую гипотезу формулируйте вместе с ожидаемым следом в данных. Например, потеря событий одной версии приложения должна проявиться в этом сегменте и начаться после конкретного выпуска.

Найденный SRM не доказывает одну причину, а его отсутствие не подтверждает безошибочность всего эксперимента. После исправления нужно заново проверить распределение и остальные условия плана: метрики, длительность, внешние изменения и качество событий.

Начать можно с карточки для одного текущего теста и сверки количеств до и после фильтров. Если команда получает противоречивые результаты экспериментов, рекомендую обратиться ко мне за консультацией и разбором продукта. Помогу восстановить путь данных, сформулировать план диагностики и отделить проверяемый вывод от неподтверждённой интерпретации.

Запомнить

  • Сопоставьте план распределения с фактическим числом участников.
  • Проследите путь от назначения группы до попадания в отчёт.
  • Разберите фильтры, исключения и потери событий.
  • Возвращайтесь к эффекту после устранения причины расхождения.

Примечания и источники

  1. Microsoft Research: исследование причин Sample Ratio Mismatch, опубликовано в июле 2019 года, проверено 16.10.2026
  2. Microsoft Research: руководство по диагностике SRM, опубликовано 14.09.2020, проверено 16.10.2026
  3. Microsoft Learn: пример зависимости проверки SRM от объёма выборки, проверено 16.10.2026

Это практический разбор, а не обещание роста показателей. Применимость советов зависит от вашего сценария, аудитории и качества данных. Примеры в статье иллюстративные.

Один шаг к ясности

Разберём ваш
продукт

Начните с короткого опроса.
Или обсудим удобный формат помощи.

Ответить на три вопроса+7 (495) 627-64-27

Конфиденциальность

Данные вашего обращения

Контакт и описание задачи используются для ответа на обращение. Политика и условия согласия доступны перед отправкой формы. По вопросам обработки данных: info@product-update.ru.