Product UpdateРазвитие цифровых продуктов

Метрики и эксперименты

Одна метрика выросла, другая ухудшилась: как принять решение по A/B-тесту

Материал обновлён 03.11.2026.

Новый вариант помогает чаще выбирать результат поиска, но страница стала медленнее. Назвать тест успешным или неудачным по одному графику не получится. Разберём качество измерений, смысл обеих метрик и условия продуктового решения.

Главная мысль

Конфликт метрик требует надёжных данных и явного решения о допустимых последствиях. Заранее согласованные защитные ограничения нельзя переписать под понравившийся результат.

Верните метрикам их роли

До разбора результата восстановите план эксперимента. Какая метрика выражала общий продуктовый результат? Какие метрики защищали качество, надёжность или пользовательский опыт? Что было диагностикой работы самой функции? Если роли назначаются после просмотра графиков, команда легко повышает статус удобного показателя и ослабляет неудобный.

Microsoft Research разделяет метрики эксперимента на качество данных, общий критерий оценки, локальные и диагностические показатели, а также защитные метрики. Защитная метрика измеряет аспект продукта, который команда не собиралась улучшать, но не хочет ухудшить. Эта классификация относится к практике Microsoft; конкретный набор команда определяет для своего продукта до запуска теста.

Сначала проверьте, можно ли доверять конфликту

Противоречивые графики ещё не означают настоящий компромисс. Проверьте распределение участников, изменения телеметрии, долю пропусков и единицу расчёта каждой метрики. Для отношения отдельно посмотрите числитель и знаменатель: рост показателя может появиться из-за изменения состава наблюдений.

После этого сверьте ожидаемый механизм. Если вариант должен был добавить содержимое на страницу, вырос ли размер ответа или охват нового блока? Если предполагаемая причина отсутствует, результат может говорить об ошибке реализации, настройки или измерения. Я не обсуждаю выпуск, пока карточка не показывает, что целевая и защитная метрики рассчитаны на сопоставимых данных.

Заполните карточку конфликта метрик

Карточка собирает решение в восьми полях:

  1. Гипотеза: какое изменение поведения ожидалось и почему.
  2. Целевая метрика: её роль, направление, оценка эффекта и неопределённость.
  3. Защитная метрика: что именно она защищает и какое ухудшение наблюдается.
  4. Граница: заранее согласованный предел или причина, почему его не было.
  5. Доверие к данным: распределение, телеметрия, пропуски, знаменатель и длительность.
  6. Механизм: как одна продуктовая правка могла сдвинуть обе метрики.
  7. Охват: какие пользователи и сценарии получили пользу или ущерб.
  8. Решение: выпуск, отказ, доработка или новый тест с владельцем следующего шага.

Поле "граница" нельзя дописывать под уже увиденный результат и выдавать за прежнее правило. Если лимита не было, это честное ограничение решения и задача для следующего эксперимента.

Переведите регрессию в пользовательский смысл

Фраза "время загрузки стало хуже" недостаточна. Уточните, какая часть распределения изменилась, на каком устройстве и в каком шаге сценария. Среднее способно скрыть длинный хвост. Microsoft Research приводит задержку загрузки как пример метрики, где высокий перцентиль или доля загрузок выше порога могут лучше соответствовать пользовательскому опыту.

Так же разберите целевую метрику. Рост кликов может означать более полезный выбор, дополнительный поиск нужного действия или активность небольшой группы частых пользователей. Сравните несколько способов агрегирования и заранее обоснованные сегменты. Срез, найденный после результата, помогает сформулировать гипотезу, но сам по себе не даёт готового разрешения на выборочный выпуск.

Учебный пример с расширенной выдачей

Рассмотрим вымышленный пример. Вариант поиска показывает расширенные карточки с дополнительными характеристиками. Доля сессий с выбранным результатом растёт, а высокий перцентиль времени загрузки ухудшается. Конкретных чисел здесь нет: команда должна подставить фактические оценки, интервалы и заранее принятые границы.

Ожидаемый механизм выглядит правдоподобно: дополнительные данные помогают выбрать результат и увеличивают ответ страницы. Сопоставьте объяснение с фактическими событиями и распределением задержки. Нужно подтвердить показ новых карточек, качество телеметрии, изменение размера ответа и распределение задержки по устройствам. Затем команда выясняет, связан ли рост выбора с большинством пользователей или только с быстрыми устройствами.

Если предел скорости был нарушен, вариант не получает автоматического одобрения из-за роста целевой метрики. Рабочим решением может стать уменьшение объёма карточки и новый тест. Если регрессия вызвана ошибкой измерения, сначала исправляют измерение. Если ухудшение подтверждено и его нельзя снизить, владелец продукта явно решает, допустима ли такая цена.

Выберите маршрут решения

Выпустить: данные надёжны, целевой результат подтверждён, защитные показатели остаются в согласованных границах. Отказаться: ущерб нарушает обязательное ограничение или перекрывает полезность. Доработать и повторить: механизм понятен, регрессию можно уменьшить, а исходный тест подсказывает конкретную правку. Расширить проверку: данных недостаточно, эффект неожиданен или результат зависит от постфактум найденного сегмента.

Microsoft Research отмечает, что универсального способа обменять улучшение одной метрики на регрессию другой нет. Веса и правила решения должны отражать цели продукта и определяться заранее, а не под отдельный результат. Поэтому карточка заканчивается именем человека, который вправе принять компромисс, и записью основания.

Зафиксируйте решение так, чтобы его можно было проверить

Итог "тест успешен" теряет важную часть истории. Запишите обе метрики, проверку качества данных, выбранный маршрут и условие следующего пересмотра. Для доработки назовите предполагаемый механизм: например, сократить загружаемые поля и повторить тест с тем же целевым показателем и пределом по скорости.

Не смешивайте статистическую неопределённость с управленческой готовностью рисковать. Даже надёжно измеренная регрессия требует продуктового решения, а слабые данные не становятся надёжнее после согласования руководителем. Неожиданно сильный или нелогичный эффект полезно воспроизвести на новой рандомизации до выпуска.

Ограничения карточки

Карточка не выбирает метрики за команду, не рассчитывает статистическую мощность и не устанавливает универсальные пороги. Она не заменяет специалиста по экспериментам, когда менялась телеметрия, нарушена рандомизация или нужен сложный анализ зависимых метрик.

Для безопасности, правовых требований и доступности могут действовать ограничения, которые нельзя обменивать на рост продуктовой метрики. Сегментный выпуск допустим только при технической возможности, достаточных данных и заранее понятной ответственности за исключённых пользователей.

Когда конфликт метрик полезно разобрать вместе

Если целевая и защитная метрики ведут к разным решениям, рекомендую обратиться ко мне за консультацией и разбором продукта. Мы заполним карточку, отделим проверку данных от продуктового компромисса и составим план следующего теста. Перед началом согласуем объём и стоимость; итоговое решение и допустимый риск остаются у вашей команды.

Запомнить

  • Верните метрикам согласованные роли и границы.
  • Сопоставьте качество данных и механизм изменений.
  • Разберите последствия для разных пользователей.
  • Запишите решение, ответственного и условие следующего пересмотра.

Примечания и источники

  1. Microsoft Research: метрики и проверки во время эксперимента, проверено 22.10.2026
  2. Microsoft Research: проверка и интерпретация результатов после эксперимента, проверено 22.10.2026
  3. Microsoft Research: свойства качественной метрики STEDII, проверено 22.10.2026

Это практический разбор, а не обещание роста показателей. Применимость советов зависит от вашего сценария, аудитории и качества данных. Примеры в статье иллюстративные.

Один шаг к ясности

Разберём ваш
продукт

Начните с короткого опроса.
Или обсудим удобный формат помощи.

Ответить на три вопроса+7 (495) 627-64-27

Конфиденциальность

Данные вашего обращения

Контакт и описание задачи используются для ответа на обращение. Политика и условия согласия доступны перед отправкой формы. По вопросам обработки данных: info@product-update.ru.