Продукт и пользовательский путь
Подготовка и разбор продуктового пилота
Определим, какое изменение проверяем и какие данные позволят принять решение о продолжении.
Подходящий запрос
Команда выбрала небольшое изменение и хочет понять, помогло ли оно завершить сценарий. До выпуска важно определить пользу, которая будет наблюдаться, и возможный ущерб. Сам факт релиза не отвечает на эти вопросы.
Если причина проблемы ещё не проверена, начнём с исследования или аудита. Пилот не должен маскировать отсутствие вопроса: его результат нужен для решения о продолжении, изменении или остановке.
Что согласуем до запуска
Запишем пользователя, шаг, изменение, ожидаемое поведение и возможное альтернативное объяснение. Выберем основной результат, ограничения и технические признаки исправности. Уточним единицу наблюдения, аудиторию и окно завершения.
Для эксперимента с группами отдельно проверим способ распределения, сопоставимость и требуемую точность. Размер выборки и длительность нельзя обоснованно выбрать без ожидаемого эффекта, базовых данных и допустимой ошибки.
Подготовка данных
Сверим значения событий на примерах: успешное завершение должно означать результат пользователя, а не только нажатие кнопки. Сохраним версию события и условия доступа к изменению. Назначим ответственного за остановку при техническом сбое.
Если допустимо только сравнение до и после, заранее перечислим возможные различия аудитории, сезонности и других выпусков. Такой план помогает честно обозначить ограничения; сам по себе он не превращает сравнение в доказательство причинного эффекта.
Форма результата
После пилота разделим, что выпущено, кто действительно получил изменение, исправны ли измерения и какое наблюдение получено. Затем сопоставим его с заранее заданным правилом решения. Отсутствие достаточных данных - тоже допустимый итог.
Я помогу оформить решение и оставшиеся неизвестные. Дальнейшее сопровождение, внедрение и доступы согласуем отдельно; результат не включает обещание роста метрик.
Как оценить пользу подготовки
Попросите коллегу прочитать карточку и объяснить, когда пилот остановят и какое наблюдение изменит решение. Если ответы зависят от интерпретации после запуска, условия стоит уточнить заранее.
Задачу, объём, формат результата и стоимость согласуем до начала работы.