От осциллограмм в НИИ до
топ-отчетов Яндекса: история карьерного роста

Это был довольно необычный карьерный рост, я сменил пару профессий по пути. Учился в МЭИ на инженера-электротехника, и тогда никакого BI еще и в помине не было. Параллельно работал классическим инженером-конструктором. Рисовал промышленное оборудование, ездил по заводам. Потом пошел в аспирантуру, писал диссертацию и в это время работал в НИИ «младшим научным слесарем», как я это называю. Там было много данных: у меня вся диссертация построена на выводах из визуализации осциллограмм и 3D-моделирований. Поэтому уже тогда была любовь к визуализации, но еще необоснованная и неосознанная.

Когда защитился, понял, что наукой заниматься не хочу — это дико узкая область. Было сложно найти оппонентов, просто потому что их не было в стране. Стал уходить в бизнес. Тогда я увлекался концепцией lean (бережливое производство), поэтому попал в международный консалтинг, в японскую фирму Kaizen Institute. Это такой бутиковый консалтинг, который специализируется на промышленной оптимизации процессов. И следующие 3 года, с 2012 по 2015 примерно, я катался по великой России-матушке, посещал разные интересные производства и помогал компаниям в описании бизнес-процессов и их улучшении. Это было интересно — удалось «пощупать» много разных бизнесов: мы ходили не только на заводы, но и в банки, и в ритейл.

Да! Тогда как раз с визуализациями я работал так: приезжаешь к клиенту, тебе выгружают миллиарды табличек Excel и ты из этого делаешь какую-то модельку, презентацию. Этим я и занимался. В конце этого пути попал в банк, и это было сложное место работы для меня. Корпоративная культура оказалась такая прям… корпорация, короче. Мне было очень трудно.

Столкнулся с компанией «Лаборатория данных», и замечательная Таня Бибикова стала моим гуру и учителем по визуализации. Я попал к ним в команду, руководил проектами. Мы делали сложные аналитические web-системы. Всякую аналитику для банков, для тех, кто анализирует трейдерские рынки, рынки облигаций и так далее. Делали даже системы анализа генома для биоинформационных инженеров. В общем, такие штуки, где традиционный BI не подойдет, а нужно что-то специализированное. Плюс делали визуализации для больших масс-медиа, сложные инфографики для медиапроектов. Вот там и началась моя большая любовь к визуализации.

Нужен был инструмент для прототипирования. Мы делали web-интерфейсы и полностью писали все визуализации, а это это довольно дорого. Да и проектировать сложную визуализацию без реальных данных невозможно, нужно тестировать. Поэтому попробовали использовать Tableau как инструмент прототипирования. То есть клиент приносил сложные данные, мы их крутили в Tableau, смотрели, как это все работает. И после того как понимали, какой дизайн нам подойдет, уже реализовывали его на сложных web-технологиях. С этого началась любовь с Tableau.

Я смог договориться о тех условиях, которые были мне интересны с точки зрения задач и команды. С одной стороны, мы классический центр экспертизы, а с другой — у нас упор как раз на визуализацию данных: объясняем, как делать классные дашборды и почему они должны быть такими. Задача — обучать аналитиков, налаживать инфраструктуру вокруг системы отчетности. И мы делаем самые важные отчеты компании, показываем класс.

Я это делаю полтора года, и стало понятно, что пора расширяться. Потому что есть не только Tableau, есть еще самописная система для гео-аналитики в реальном времени и другие системы отчетности. Сейчас будем налаживать процессы вокруг остального. Так что я занимаюсь и классической BI-отчетностью, то есть классическими дашбордами.

Не совсем так. У нас сейчас есть большая группа Go+Market, туда входят также Такси, Лавка, Еда, Доставка. И мы такой матричный центр экспертизы — генерим основные процессы и гайды, ребята их используют, а мы помогаем. Пока что больше упор на Такси: в нем мы все это пилотировали полтора года. И сейчас вот будем раскатывать на остальные бизнес-юниты.

У нас есть два больших блока: один — про контент и дашборды, а вторая часть — инфраструктурная. Это про техническую часть инфраструктуры и все процессы вокруг публикации отчетов, их проверки и т.д. Я отвечаю за контент. У меня есть два BI-разработчика сейчас — это классический BI, они делают дашборды в Tableau. И есть Данила Шевцов — он отвечает за инфраструктуру и развивает это направление как продукт.

Мы не занимаемся подготовкой. Для этого есть отдельная команда дата-инженеров, системных аналитиков. Мы им ставим задачи, если нужны какие-то данные. Мы — голос бизнеса. Много взаимодействуем с финальным заказчиком: собираем задачи, понимаем, какие нам нужны данные, и из этого формируем ТЗ.

Да, такое есть. Но мы стараемся time to market сокращать. За каждым подразделением закреплен аналитик, который помогает нам подготовить такие «полупродовые» данные. Они правильно посчитаны, но не оптимальны с точки зрения структуры. Таким образом, мы довольно быстро — от 2 недель до месяца — получаем готовый продукт, которым можно пользоваться.

Дальше у нас есть процесс перевода данных в продакшен, уже «заливаем это в бетоне», скажем так. Процесс продакшена может быть довольно долгим. Но мы тут идем на компромисс в том, что отдаем отчет клиенту довольно быстро.

Ну, тут да — и ждать плохо, и конфликтовать не надо. Надо пойти и договориться. Обычно это сводится к переговорам и донесению понимания бизнес-пользы. У нас есть внутренние системы приоритизации, и мы идем от скоринга — почему это важно сейчас. У нас есть настроенный процесс. Ребята из DWH его сами организовали, ходить и ругаться не приходится. Приходится ходить на их планирование и заполнять их формы, чтобы у твоей задачи был высокий приоритет.

У нас есть еще Datalens — это индексовая BI-система, которую мы используем, если нужно раскатать отчеты на большое количество пользователей. Например, если есть support и там пара тысяч пользователей, и при этом нужно 1-2 отчета. Делать это в Tableau было бы очень дорого. Второй инструмент — Атлас, это внутренняя самописная штука для real-time аналитики. Ни Tableau, ни Power BI не умеют хорошо работать в real-time с гео. Основная задача системы — смотреть онлайн, как двигаются машины и курьеры. Это история про гео-аналитику: можно с точностью до минуты узнать, кто где был, какие были заказы совершены и т.д.

Есть, на удивление, OLAP-куб. Он под свои задачи, им пользуются финансисты. В основном чтобы формировать финансовую отчетность, а не операционную. С точки зрения прототипирования мы пытались Figma задействовать, но слишком долго получается.

По-честному, все, что мы щупаем, пока не очень рабочее. Тот же Ask Data в Tableau пока работает очень медленно, особенно если в витринах нет нормализации названий. Тем более он не заточен под русский язык. То есть сразу требование к бизнес-пользователю — отлично знать английский. Поэтому, к сожалению, ничего такого классного пока не расскажу.

Опять же, в Яндексе любят много чего самописного. Например, алгоритмы, которые заранее нам прогнозы делают, и всякое такое. Это все формируется в данные, которые мы также отображаем внутри отчетов. Но это не artificial intelligence, который приходит и нам языком Алисы что-то рассказывает. Все довольно скучно в этом смысле.

Я выделяю три основных момента. Первый — это подход к созданию визуализации. Tableau — это единственная промышленная BI-система, которая использует visual grammar и семантический подход. Все остальные системы строятся по типу шаблонизации: сначала выбираешь шаблон и потом туда загоняешь нужные данные. Такой подход проще для среднего бизнес-пользователя, и это плюс. Tableau же лучше подходит аналитикам на этапе их исследований. Там уже сложность, сравнимая с программированием.

На самом деле, в такой оголтелый self-service на стороне бизнеса я не очень верю. Меня пытаются переубедить, что «надо данные дать людям». Но мне кажется, что для этого нужны: а) подходящие инструменты; б) чтобы ваш BI не превратился в еще один Excel.

Очень с тобой согласен. У меня ощущение, что self-service круто работает в формате компаний от 50 до 300 человек. Там это то, с чего бы я сам начинал, а вот в махинах… мне страшно на 1000 человек это отпускать. Меня даже троллят за это коллеги. Но у меня такое мнение — надо грамотно миксовать, искать пропорции.

Первое, чего, по-моему, не хватает сейчас ребятам, которые занимаются аналитикой — это понимания того, что вы делаете очень сложный комплексный продукт.