Как аналитик помогает бизнесу: три истории из Microsoft, LinkedIn и Netflix

Ронни Кохави: как проверить идею, которую недооценила команда

В 2012 году сотрудник Bing предложил изменить отображение рекламных заголовков. На реализацию требовалось несколько дней, однако руководители оценили другие задачи как более перспективные. Идея больше полугода оставалась без движения, пока один из инженеров не взялся за неё и не запустил A/B-тест.

Сработало предупреждение: выручка подозрительно высокая. Обычно в такой ситуации ищут ошибку в учёте. В этот раз ошибки не нашли: по описанию команды, изменение увеличило выручку Bing на 12%, не ухудшив контрольные метрики. ^[1]

Годовой эффект авторы оценили более чем в 100 млн долларов только в США. ^[2]

Ронни Кохави, который рассказывал об этом эксперименте, руководил в Microsoft направлением Analysis & Experimentation и развитием платформы ExP. Идею заголовков предложили и реализовали другие сотрудники; его работа была связана с созданием системы, в которой команды могли надёжно проверять подобные изменения. ^[3]

Важная деталь этой истории — сочетание выручки и контрольных метрик. Команда следила за тем, чтобы рост дохода сопровождался сохранением качества пользовательского опыта. Такой подход помогает оценить изменение с нескольких сторон и заметить последствия, которые одна метрика могла бы скрыть.

Впоследствии ExP использовали и другие продуктовые группы Microsoft. По истории проекта, к 2019 году платформа работала более чем в 15 крупных группах, включая Office, Windows и Xbox. ^[3]

Ценность работы Кохави хорошо видна на этом масштабе: возможность проверять гипотезы становилась доступной всё большему числу команд. Небольшое изменение можно было оценить по поведению пользователей, даже если заранее оно казалось малозначительным.

Я Сюй: как сделать эксперименты частью повседневной работы

Когда в компании одновременно развиваются десятки функций, аналитической команде приходится решать ещё одну задачу: помогать коллегам самостоятельно проводить качественные проверки и правильно понимать результаты.

В LinkedIn этим занималась Я Сюй. В интервью инженерному блогу компании в 2015 году она рассказывала, что построила и возглавила команду экспериментирования. Её ежедневным инструментом была XLNT — внутренняя платформа A/B-тестирования, на которой тогда ежедневно шло около 400 экспериментов. ^[4]

При этом самой сложной частью работы Сюй называла обучение сотрудников. Её команда проводила регулярные занятия, устраивала ежедневные консультации и помогала продуктовым подразделениям с дизайном экспериментов и анализом сложных результатов. ^[4]

По этому описанию видно, почему развитие аналитики требует внимания к людям и процессам. Коллегам нужно договориться, что измерять, как организовать сравнение и в какой момент данных достаточно для решения. Платформа упрощает расчёты, а качество проверки зависит ещё и от того, как сформулирована задача.

Сюй строила среду, в которой эти вопросы можно было решать вместе с аналитической командой. Такой подход особенно полезен для больших продуктов: знания о корректном экспериментировании постепенно становятся частью работы разных подразделений.

В открытом интервью нет оценки личного вклада Сюй в выручку LinkedIn. Зато описано конкретное направление её работы — объединить инструмент, обучение и поддержку продуктовых команд, чтобы результаты экспериментов помогали развивать сервис.

Карлос Гомес-Урибе: как связать рекомендации с пользой для зрителя

У видеосервиса может быть огромный каталог, но зритель всё равно проведёт вечер в поисках подходящего фильма. Поэтому для Netflix важен весь путь пользователя: от открытия приложения до выбора того, что действительно хочется посмотреть.

Карлос Гомес-Урибе, в те годы вице-президент Netflix по продуктовым инновациям, работал с командами, создававшими рекомендательные алгоритмы. В 2015 году он вместе с Нилом Хантом опубликовал статью об устройстве рекомендательной системы и её бизнес-задачах. ^{[5] [6]}

Команда сочетала проверку алгоритмов на исторических данных с A/B-тестами. В онлайн-экспериментах оценивали удержание подписчиков и вовлечённость в среднесрочной перспективе. Это позволяло связывать работу моделей с тем, как люди пользуются сервисом. ^[6]

Для аналитика здесь важен выбор критерия успеха. Хороший результат на исторических данных помогает отобрать перспективное решение, а проверка в продукте показывает, приносит ли оно пользу пользователям. Два этапа дополняют друг друга.

При расширении Netflix эта работа потребовала координации множества специалистов. В публикации 2016 года Гомес-Урибе писал, что создание и развёртывание глобальной рекомендательной системы заняло год и объединило десятки команд компании. ^[7]

В таком продукте аналитика непосредственно влияет на клиентский опыт: какие варианты появляются на экране и насколько легко среди них найти подходящий. Для бренда это способ подтверждать свою ценность при каждом новом обращении пользователя к сервису.

Какие инструменты помогают им влиять на продукт

В этих историях названы конкретные инструменты: ExP у команд Microsoft, XLNT в LinkedIn, рекомендательные алгоритмы и системы экспериментов Netflix. Данных о том, какие программы герои чаще всего открывали лично, источники не дают, поэтому рейтинг любимых языков и BI-систем здесь был бы неточным.

Зато хорошо видна связь инструментов с задачами. Командам Microsoft платформа помогала проверять изменения продукта; в LinkedIn её дополняли обучением и консультациями; в Netflix исторические данные и онлайн-тесты использовали для развития рекомендаций.

Общий результат такой работы — более обоснованный выбор следующего шага. Команда получает возможность вовремя отказаться от неудачной гипотезы, заметить недооценённое улучшение или понять, почему новая функция пока не приносит ожидаемой пользы.

Поэтому опыт этих специалистов полезно рассматривать через решения, которые изменились благодаря их работе. Какие данные понадобились команде, как она проверила предположение и что сделала после получения результата? Именно в этой последовательности становится виден вклад аналитика в развитие продукта.