Пирамида метрик: пожалуй, наилучший метод осознать, что не так с вашим продуктом

Привет! Я Елена Маёркина, CPO в AGIMA. Мы разрабатываем крутые продукты и строим принципиальные планы. Но фуррор неосуществим без грамотного анализа данных.

Чтоб осознать, где продукт силен, а что просит доработки, мы используем фреймворк «Пирамида метрик». В данной для нас статье расскажу, почему он нам так нравится и чем быть может полезен для вас.

Когда мы желаем создать продукт лучше, необходимо поначалу найти, что считать фуррором. Метрики – это ориентир. Они должны быть осмысленными, измеримыми и понятными. Отслеживая их, можно влиять на бизнес-результаты. Время от времени зависимость явна, время от времени – не совершенно, но она есть постоянно. Принципиально учесть лишь те характеристики, которые вправду отражают ценность для юзера.

Как найти главные метрики конкретно для вашего продукта? «Пирамида метрик» – хороший инструмент для этого.

Пирамида метрик и иерархия метрик

Пирамиду метрик и иерархию метрик нередко путают. Они вправду похожи: то и другое – иерархические модели. Но мы тут сконцентрируемся на их различиях.

Пример иерархии метрик

Во фреймворке «Иерархия метрик» мы раскладываем главный показатель фуррора на метрики, которые впрямую на него влияют. Их, в свою очередь, на еще наиболее точечные. И так дальше. Иерархия помогает классифицировать метрики, найти зависимости и осознать, с какой метрикой стоит интенсивно поработать для заслуги более существенного результата.

В итоге мы:

• осознаем, как влияет на улучшение характеристик продукта изменение действий (в динамике, в том числе и длительный эффект);
• знаем, какие характеристики могут усугубиться при улучшении избранной метрики;
• лицезреем порядок в бэклоге и упрощение приоритизации задач.

Разумеется, что иерархия метрик полезна. Но в этом фреймворке мы не постоянно можем осознать, какие метрики наиболее значимы, какие являются промежными, на чем стоит сфокусироваться в следующем спринте и при всем этом глобально избежать гиперфокуса.

В этом поможет пирамида метрик. Мы выделяем четыре уровня, которые размещены от микропроцессов (платформенные метрики) к макроструктуре (бизнесовые метрики). О этом расскажу ниже.

Метрика полярной звезды

Напомню, что такое North Star Metric (метрика полярной звезды, метрика всесилия). Считается, что NSM – это показатель, отслеживая и влияя на который, компания буквально достигнет целей. Время от времени эту метрику именуют утопией, но нередко она работает.

NSM подойдет для определенной фичи либо задачки в рамках определенной стратегии на ограниченный период времени. В этом случае можно отыскать вправду неплохую метрику. К примеру, часы просмотра за месяц у Netflix, DAU у Facebook и Twitter, количество досок для совместной работы у Miro и т. п. Иерархию метрик нередко строят конкретно как декомпозицию NSM.

Но у этого подхода есть недочеты. Возьмем, к примеру, расчетный счет для бизнеса. Разглядим две метрики: количество новейших клиентов (фокус на маркетинг) и количество каждый месяц активных (фокус на продукт). Что увлекательнее? Зависит от целей. А если взять в качестве метрики всесилия Revenue, она будет всепригодна для всех товаров, но не очень поможет в части декомпоза.

Пирамида метрик нужна, чтоб не допустить гиперфокуса и держать руку на пульсе продукта и бизнеса, а иерархия метрик часто работает напротив. Это как если пациента будет вылечивать доктор, который уверен, что, если температура достигнет 36.6, другие симптомы (Симптом от греч. — случай, совпадение, признак — один отдельный признак, частое проявление какого-либо заболевания, патологического состояния или нарушения какого-либо процесса жизнедеятельности) заболевания пройдут сами.

Как мы строим пирамиду метрик

Мы не упарываемся в NSM и ее составляющие. Работа с таковой пирамидой вероятна лишь с вспомогательными и контрольными метриками, что так либо по другому делает таковой декомпоз излишней растратой времени. NSM мы рассматриваем как показатель ценности для клиентов, потому в качестве NSM у нас выступают метрики эффективности и дополнительной ценности. Увеличение дополнительной ценности продукта – основная задачка продуктовой команды, а продуктовые метрики не постоянно могут посодействовать с оценкой эффективности решения задачки клиента/юзера.

Измерение значений таковых характеристик не очевидный вопросец. Так что тут просто ограничимся верхнеуровневыми определениями:

• метрики эффективности решения задачки демонстрируют, сколько усилий и ресурсов требуется для решения задачки юзера либо заслуги определенного прогресса в рамках ее решения;
• метрики дополнительной ценности демонстрируют, как эффективнее один продукт решает задачку, чем иной.

Соответственно, построение пирамиды метрик у нас идет чуток по другому:

• на шаге аудита мы определяем данные, которые отслеживаются и которые необходимо выслеживать;
• дальше классифицируем характеристики с целью избавления от гиперфокуса;
• позже добавляем базисную иерархию;
• выстраиваем связи меж метриками.

В итоге выходит пирамида метрик, которая помогает не допустить появления гиперфокуса. И состоит эта пирамида из 4 главных «кирпичей»: платформенных, интерфейсных, продуктовых и бизнесовых метрик.

Платформенные метрики

В основании пирамиды размещены метрики, связанные с доступностью и технической надежностью нашего продукта. Если продукт недозволено применять «по техническим причинам», то и измерять будет нечего.

Интерфейсные

Дальше идут интерфейсные метрики, которые демонстрируют взаимодействие юзера с продуктом. Сюда относится и эффективность маркетинговых кампаний, и конверсии форм, которые заполняет юзер, и конверсии клавиш типа «бросить заявку».

Продуктовые

Охарактеризовывают поведение юзеров и экономику продукта, отвечают на вопросцы о самом продукте. Разрешают осознать, как продукт превращает новейших юзеров в остальные сути.

Вот несколько примеров:

• Retention указывает, как новейшие юзеры преобразуются в активных;
• LTV указывает, как новейшие юзеры преобразуются в прибыль за всегда использования продукта;
• Конверсия в первую покупку указывает, как продукт превращает новейших юзеров в платящих.

Бизнесовые (они же метрики роста)

Если метрики продукта обрисовывают сам продукт, то метрики роста обрисовывают бизнес, который построен вокруг этого продукта, демонстрируют итоговый итог перевоплощения новейших юзеров при помощи продукта в остальные сути. Другими словами продуктовые — КАК штаны преобразуются, а бизнесовые — во ЧТО они преобразуются. (В стильные шорты, да.)

Примеры метрик роста:

• DAU либо дневная активная аудитория (New Users * Retention).
• Прибыль (New Users * LTV).
• Количество юзеров, отправляющих сообщения (New Users * Retention into Sending a Message).
• Количество новейших подписчиков (New Users * Conversion into Subscriber).
• Revenue, Profit, маржа, размер реализованной продукции и т. п.

Когда мы оцениваем продуктовые конфигурации, недозволено ориентироваться на метрики роста, потому что эти характеристики зависят не только лишь от черт продукта, да и от притока новейших юзеров.

Что далее?

Когда мы выстроили пирамиду метрик, проверили мэтч характеристик с нашей бизнес-моделью и исследовали значения метрик, начинается самое увлекательное. Это работа с метриками и контроль их конфигураций, предиктивная аналитика и воздействие на достижение подходящих характеристик – другими словами неизменное развитие продукта и, как следствие, бизнеса.

Пирамида метрик и OKR

Сочетание OKR (целей и главных результатов) и пирамиды метрик – мощнейший инструмент для продуктовой команды. На данный момент объясню, почему это полезно.

– Сглаживание целей. OKR помогает продуктовой команде выявить главные цели и ожидания, связанные с продуктом либо функциональностью. Пирамида метрик дозволяет перевести эти цели в измеримые метрики производительности, которые могут быть отслежены и проанализированы. Сочетание OKR и пирамиды метрик помогает команде осознать, как их работа влияет на общие цели организации и обеспечивает сглаживание на всех уровнях.

– Измерение прогресса. Пирамида метрик предоставляет команде набор измерений производительности, которые отражают разные нюансы работы продукта либо функциональности. Эти метрики разрешают команде выслеживать собственный прогресс и оценивать, как удачно они добиваются собственных целей. OKR в свою очередь предоставляют ясные и определенные результаты, которые команда стремится достигнуть. Сочетание OKR и пирамиды метрик помогает команде определять и показывать собственный прогресс на пути к достижению целей.

– Фокус на главных метриках. Пирамида метрик помогает команде найти главные метрики производительности, которые более важны для заслуги целей продукта либо функциональности. Фокусирование на этих главных метриках даст возможность ориентироваться на конечные результаты и принимать обоснованные решения, чтоб сделать лучше эти метрики. OKR помогают команде найти ценности и направление работы, а пирамида метрик помогает команде сосредоточиться на тех метриках, которые более существенны для заслуги фуррора.

– Адаптация и улучшение. Сочетание OKR и пирамиды метрик дозволяет команде оценить свои результаты и адаптировать свою работу в согласовании с оборотной связью и измерениями производительности. Пирамида метрик помогает идентифицировать слабенькие места и отыскать способности для роста.

– Неизменное обучение (педагогический процесс, в результате которого учащиеся под руководством учителя овладевают знаниями, умениями и навыками) и улучшение. OKR и пирамида метрик стимулируют неизменное обучение (педагогический процесс, в результате которого учащиеся под руководством учителя овладевают знаниями, умениями и навыками) и улучшение в продуктовой команде. Постоянный анализ метрик производительности дозволяет команде идентифицировать области, требующие улучшений, и принимать надлежащие меры для оптимизации продукта. Команда может применять приобретенные данные и результаты для принятия наиболее информированных решений, проведения тестов и внесения конфигураций в продукт с целью заслуги наилучших характеристик.

Давайте на примере. У нас есть бизнес-цель – прирастить реализации на веб-сайте на 30% в последующем квартале. Для ее заслуги мы ставим OKR – прирастить конверсию на веб-сайте с 2% до 4%, также поднять долю поискового трафика на 15%. Чтоб измерить прогресс в достижении этих результатов мы можем применять пирамиду метрик. На верхнем уровне пирамиды будут общие бизнес-метрики, такие как полное количество продаж и общий доход. Ниже могут быть метрики, связанные с каналами маркетинга, такие как количество кликов на маркетинговое объявление и количество новейших гостей на веб-сайт. Дальше будут наиболее детализированные метрики, связанные с определенными действиями юзеров на веб-сайте, такие как количество добавлений в корзину, количество завершенных заказов, количество брошенных корзин и т. д. Чтоб измерить прогресс в достижении главного результата – прирастить конверсионный показатель на веб-сайте с 2% до 4%, кроме отслеживания самой конверсии мы анализируем значения и влияем на ряд связанных метрик, отражающих поведение юзеров. Так, снижая значение показателя отказа, работая с количеством брошенных корзин и т. д., мы идем к нашей главный цели, параллельно фиксируя итог.

Предиктивная аналитика

Тут мы чуток подробнее остановимся на теме предсказательной (предиктивной) аналитики. Если мы сможем предвещать ожидаемые характеристики прибыли, оттока и остальные, то развивать продукт можно будет еще эффективнее. Для того, чтоб заняться гаданием на метриках, необходимо осознавать, что это совершенно такое.

Предиктивная аналитика – процесс использования данных и статистических моделей для пророчества будущих результатов и поведения юзеров в контексте продукта. Главные нюансы предиктивной аналитики метрик:

1. Сбор данных.
   
   Предсказательная аналитика просит доступа к историческим данным о продукте, другими словами по всем составляющим блоков нашей пирамиды в ретроспективе.
2. Идентификация мотивированных метрик.
   
   Определение главных характеристик, которые для нас на данный момент являются главными для оценки эффективности и фуррора продукта.
   
3. Моделирование данных.
   
   Опосля сбора и агрегации данных они прогоняются через методы ML для анализа и прогнозирования. Примеры моделей включают линейную регрессию, временные ряды, деревья решений и остальные способы.

4. Прогнозирование и оптимизация.
   
   Прогнозы могут быть представлены в различных формах: числовых значениях, графиках, прогнозных спектрах и т. д. Всё ависит от того, о чем вы условьтесь с вашим Data-аналитиком. Оптимизация основывается на цикле тестов и неизменного анализа результатов для проверки эффективности предполагаемых конфигураций.
5. Оценка точности моделей.
   
   Сопоставление фактических значений метрик с предсказуемыми дозволяет оценить точность предиктивных моделей. Сюда заходит вычисление значений метрик оценки точности, таковых как MAE (средняя абсолютная ошибка), MSE (среднеквадратичная ошибка), коэффициент детерминации и остальных. Оценка точности моделей помогает найти их надежность и применимость в настоящих сценариях. По мере скопления данных по определенным показателям модели делают всё наиболее корректные прогнозы.
6. Принятие решений.
   
   На основании прогнозов можно найти ценности развития продукта, инвестиции в маркетинг, оптимизацию пользовательского опыта и остальные стратегические активности.

Смотрится это все тяжело. Потому удобнее применять калькулятор пророчества конфигураций.

Калькулятор пророчества конфигураций

Калькулятор пророчества конфигураций – это инструмент, который в главном употребляется в Digital-маркетинге для оценки планируемых конфигураций в эффективности маркетинговой кампании. Обычный пример – «Прогноз бюджета» в Yandex Директ. Но применять его можно не только лишь в маркетинге, предсказывать конфигурации по метрикам тоже может быть.

Механизм работы калькулятора пророчества конфигураций эффектов по метрикам может варьироваться зависимо от определенного кейса, но он постоянно основывается на статистических способах, моделях и методах ML. Работа с таковым калькулятором (независимо от источника его получения) будет базироваться на этих шагах:

• ввод данных;
• анализ данных;
• прогнозирование конфигураций;
• визуализация результатов;
• интерактивность (опционально).

Калькулятор работает на базе данных, предоставляемых юзером, и может предсказать, как поменяются главные метрики при разных конфигурациях определенных характеристик.

Но не стоит забывать, что он не может учесть все причины воздействия, потому, результаты, приобретенные при помощи калькулятора, могут быть только примерными. Постоянно следует учесть настоящие условия и следить за метриками в режиме настоящего времени для наиболее четкой оценки предсказуемых конфигураций.

Мы живем в нескончаемом HADI-цикле для неизменного масштабирования и используем различные инструменты на любом шаге. Но это уже совершенно иная история. Коллеги время от времени делятся ее частями, к примеру, про дашборды и их помощь (либо нет) в принятии бизнес-решений, здесь можно прочесть про высококачественные исследования, а тут про количественные – рабочие методологии для шагов формирования и валидации гипотез.

Оригинал статьи на SEOnews