Денис Надымов
Как дух экспериментов становится жертвой KPI
Вам не кажется, что даже ленивый (хотя, конечно, я уверен, что таких в нашей компании нет) стал очень часто использовать слово «метрики»? Мне вот кажется. Вместе с развитием практик продуктовой разработки это слово прочно вошло в наш обиход. И это логично. Весь цивилизованный мир измеряет развитие продуктов. Что, мы хуже что ли?
Начнем сразу с примером, предположим, сейчас для нас самое важное - вывести фичу №666 в продуктив. Как можно быстрее, мы же для быстрого time to market уже достаточно долго цифрово транфсормируемся. Поэтому тут все просто и понятно — метрика: выйти в продуктив к июлю. Чем не метрика?

Правда зарубежные коллеги, и все больше и больше наших, говорят, что клиент не хочет чтобы ему БЫСТРО поставляли «не то». Он хочет чтобы ему поставляли именно то, что будет приносить ему пользу. Чтобы узнать, что будет приносить пользу, нужно формулировать гипотезы и проводить эксперименты (то есть эти самые гипотезы проверять).

Результаты эксперимента должны измеряться. Для того, чтобы вообще можно было сделать вывод о подтверждении или опровержении гипотезы.

Когда есть что измерить, в корпоративной среде очень велик соблазн сделать из этого KPI. И если над экспериментом работают команды, на которых не распространяется привычная в компании система мотивации, этот соблазн становится и вовсе непреодолим.

Кажется, что это становится похожим на такую историю. Все мы хотим в жизни самореализоваться. И вот с детства нам прививали идею, что для самореализации нужно хорошо учиться в школе, сдать отлично экзамены и получить диплом о высшем образовании. У нас как бы появляются KPI. Средний балл аттестата, оценки на выпускных и вступительных тестовых испытаниях, наличие диплома вуза. Многие не останавливаются и продолжают после этого по инерции ходить на курсы, получать сертификаты и так далее. Уж по крайней мере, чтобы найти человека без диплома о высшем образовании сейчас нужно сильно напрячься.

Давайте посмотрим вокруг. Положа руку на сердце, сколько человек из ваших знакомых могут уверенно сказать, что они самореализовались...? Скольким из них непосредственно помогло наличие диплома? А дополнительных «корочек»? Понимаете? Мы сделали культ из KPI «Наличие диплома», забыв о ЦЕЛИ, которой это действо должно было служить.

Так о чем это мы? А! О метриках. Их основная цель — давать беспристрастные данные для понимания подтвердилась гипотеза или нет.

И если гипотеза не подтвердилась в этом никакой трагедии. Я больше скажу — это нормально. Крутые продуктологи говорят, что в продуктовой разработке порядка 9 из 10 гипотез не подтверждаются. Но только подумайте — именно благодаря 9 проваленным гипотезам мы находим тот самый 1 целевой сегмент, идею, которая интересна, эффективную бизнес модель и прочее и прочее.

Конечно, это непросто — понимать, что идеи, которые ты тестируешь в большинстве своем не нравятся рынку. Может казаться, что время идет, а ты не подтвердил ни одной гипотезы. Достаточно вспомнить, что отрицательный результат это тоже результат. Благодаря этому вы экономите кучу времени и ресурсов, НЕ реализуя гипотезы, которые не подтвердились.

Давайте рассмотрим такой пример: итальянец Галилео Галилей усомнился в правильности выводов Аристотеля и решил их проверить. Для этого он сбрасывал с Пизанской башни в один и тот же момент пушечное ядро и значительно более легкую мушкетную пулю. Оба тела имели примерно одинаковую обтекаемую форму, поэтому и для ядра, и для пули силы сопротивления воздуха были пренебрежимо малы по сравнению с силами притяжения. Возможно, Галилей ожидал, что ядро упадет на землю раньше. Однако он выяснил, что оба предмета достигают земли в один и тот же момент, то есть скорость их падения одинакова. Можно ли сказать, что исследователь неэффективно работал, раз результат разошелся с его ожиданиями?

Made on
Tilda