Квадрант Гартнера, BARC Score и BI-круг Громова: как составляются рейтинги BI-платформ

● Алексей Выскребенцев — представитель российского BI-вендора «Форсайт». Эта платформа унаследовала права на поддержку системы «Прогноз», которая c 2012 по 2015 годы была в «Магическом квадранте Гартнера», крупнейшем в мире рейтинге IT-продуктов в целом и BI-продуктов в частности.

● Иван Вахмянин — сооснователь и директор российского BI-вендора Visiology. Он хорошо знаком с немецкой компанией BARC Research и знает, как формируется рейтинг BARC Score.

● Сергей Громов — создатель «BI-круга Громова», рейтинга российских BI-продуктов. Так сказать, наш отечественный Гартнер :) И руководитель компании BI Consult.

Их довольно много, и у всех разная методика оценивания. Чтобы оценивать «справедливость» любого рейтинга, эту методику нужно знать. Поэтому в дискуссии участвовали специалисты, знакомые с предметом не понаслышке. Обсуждать будем 3 разных рейтинга. Два из них — международные, один — исключительно российский.

● Магический квадрант Гартнера
● BARC Score
● BI-круг Громова

Сравнивать их между собой будет неправильно: у них разный бэкграунд и разные цели. Расскажу о каждом рейтинге.

Это исследование американской исследовательской и консалтинговой компании Gartner Group, которая специализируется на рынках информационных технологий. Ежегодно компания выпускает отчеты с результатами исследований разных технологических отраслей. Мы обсуждаем лишь один из них — Магический квадрант Гартнера для платформ бизнес-аналитики.

По своей известности и популярности в мире именно квадрант Гартнера — номер один в рейтинге айтишных рейтингов (если бы такой существовал).

На первой картинке — компании, которые вошли в него в 2022 году. На второй — состав 10-летней давности: тогда и в числе лидеров было больше вендоров, и российский Prognoz числился в левой нижней части.

Магический квадрант имеет две оси:

● «Полнота видения» (Completeness of vision) — отражает функциональность продукта и количество инновационных решений в нем;

● «Способность к реализации» (Ability to execute) — обобщает такие факторы как доходность продукта, развитость партнерской сети, размер клиентской базы, а также другие вопросы бизнеса.

Комплексная оценка по этим двум шкалам помещает вендоров в один из четырех квадрантов.

Лидеры — обладатели самых высоких баллов по обеим осям графика. Именно им принадлежит большая часть рынка и самые развитые комьюнити пользователей.

Претенденты — обычно, чтобы попасть в квадрант лидеров, им не хватает масштаба и развитой экосистемы.

Визионеры — компании, которые пока еще не завоевали серьезную долю рынка и не показали устойчивой прибыльности. Тем не менее, это могут быть вполне инновационные продукты, которые решают важные проблемы бизнес-пользователей.

Нишевые игроки — здесь могут быть вендоры, ориентированные на определенные рыночные сегменты, а также поставщики BI-решений, которые не дотягивают по нескольким баллам оценивания.

Квадрант Гартнера часто критикуют за непрозрачность оценивания или ориентир на крупных продавцов, а не потребности рынка. Тем не менее, уже много лет он остается главным исследованием IT-рынков в мире.

В России об этом могут рассказать немногие, потому что в исследование американского агентства входил только один российский BI-вендор — это компания «Прогноз» из Перми со своим продуктом Prognoz Platform.

Сейчас этот продукт называется «Форсайт». О том, какие шаги нужно пройти вендору для попадания в Gartner’s Magic Quadrant, представитель этого вендора Алексей Выскребенцев.

— Во-первых, важна финансовая составляющая. Не знаю, какая «проходная» граница сейчас, но в 2015 году вендор должен был показать среднегодовую выручку от On-Premise продуктов в 25 млн долларов минимум. Это первый шаг, без которого на вас вообще никто не обратит внимания.

Второй важный критерий — география. Если крупные игроки работают в 200 странах, то у «Прогноза» на тот момент были продажи только в 70. Уже это сразу опускает вендора в плоскость «нишевых игроков».

Третий фактор — наличие референсов. Минимум из 5 разных отраслей, по 5 заказчиков в каждой. А еще по 5 референсов минимум с трех частей света, условно, Европа, Америка, Азия. То есть в совокупности компания должна предоставить более 40 референсов и контакты своих клиентов, чтобы эксперты Gartner Group могли с ними связаться.

Только после этого начинается заполнение функциональных критериев. Там примерно 14 классов, чуть больше 100 критериев в каждом. Подключение источников, количество доступных источников, облачное решение, визуализация, аналитика — там очень много всего.

Все это достаточно длительный и ресурсозатратный процесс. При этом сказать, что он приносит вендору всемирную популярность, нельзя.

Аналитическое исследование немецкой компании BARC Research. В отличие от того же квадранта Гартнера, направлено именно на рынок Business Intelligence. Менее известно и популярно, но более прагматично. Ориентируется в основном на европейский рынок.

На первой картинке — рейтинг BI-платформ за 2021 год. На второй — расстановка 5-летней давности, когда BARC Score вышел впервые.

Как видно, изначально «высшей» категорией рейтинга считалась группа Market Leaders: в первом отчете она осталась пустой, а нынешние лидеры размещались в номинации Trendsetters. Теперь верхушка рейтинга — группа Dominators.

Визуально рейтинг BARC похож на квадрант Гартнера: комплексная оценка вендоров также складывается из показателей на двух осях.

● По горизонтали — возможности портфолио (Portfolio Capabilities). Вендоры с большим количеством созданных продуктов (ETL, Machine Learning) будут располагаться правее.

● По вертикали — рыночное исполнение (Market Execution). Здесь учитывается не только оценка функциональности, но и объем продаж, и отзывы клиентов.

Как и в квадранте Гартнера, вендоры разделены по номинациям. Только здесь их уже 5, а не 4.

Доминаторы (Dominators) — самые влиятельные игроки рынка Business Intelligence как с точки зрения продуктов, так и с позиций продаж и маркетинга. В отчете за 2021 год в этой номинации нет ни одного продукта.

Лидеры рынка (Market Leaders) — компании, завоевавшие значительную часть рынка с помощью стратегических приобретений или технологических инноваций. В их числе за 2021 год — не только те же Microsoft, Tableau и Qlik, как у Гартнера. Сюда же включены SAP, IBM и Oracle (в Gartner Magic Quadrant 2022 они в визионерах). Правее всех располагается MicroStrategy. Именно этим вендорам, согласно отчету, принадлежит 60% мирового рынка BI. Все остальные делят оставшиеся 40%.

Претенденты (Challengers) — вендоры, которые стремятся к завоеванию рынка с помощью покупки новых компаний или разработки инновационных решений. Отстают от лидеров по показателям продаж и маркетинга.

Специалисты (Specialists) — небольшие компании-вендоры, часто ориентированные на определенные сегменты рынка.

Абитуриенты (Entrants) — относительно новые участники рынка, которые пока не оказали на него влияния.

О рейтинге BARC Score рассказывал Иван Вахмянин, хорошо знакомый с BARC Research и активно поддерживающий «более приземленный» подход компании к оценке BI-вендоров.

Вот как выставляет приоритеты этот рейтинг:

1. качество данных (Data quality);
2. культура принятия решений на основе данных (Data driven culture);
3. управление данными (Data governance);
4. обнаружение данных (Data discovery);
5. самообслуживание и аналитика (Self-service BI and analytics).

Это исследование отличается от остальных уже тем, что в нем фигурируют исключительно российские BI-платформы. В название, как вы понимаете, заложена ироничная аналогия с «магическим квадрантом».

В 2022 году «BI-круг Громова» вышел в третий раз. И если раньше это было нечто вроде обзора продуктов, то теперь все их протестировали программисты и аналитики: их оценки также есть в исследовании.

Тестирование охватило 14 российских BI-платформ, всего же в исследовании — обзор функциональности 40 продуктов. Заказать отчет можно на сайте russianbi.ru.

В исследовании каждому вендору присваивается оценка по множеству показателей. Исходя из этого, платформы распределены по номинациям. Функциональность оценивается по 14 критериям в нескольких категориях: инфраструктура, управление данными, анализ и создание дашбордов, возможность работать командой и публиковать интерактивные отчеты.

По словам автора исследования, акцент они планируют делать больше на «практических» характеристиках BI-решений, а не маркетинговой стратегии. В обозримом будущем планируют также учитывать отзывы клиентов, которые уже используют российские BI-платформы.

Чем выше продукт в рейтинге, тем он лучше — так мы привыкли. Но с рейтингами систем Business Intelligence не совсем так. Все зависит методики оценивания: не всегда технические возможности будут в ней на первом месте.

Магический квадрант Гартнера часто критикуют и обвиняют в «служении корпорациям». Тем не менее, результаты этого отчета продолжают пользоваться спросом, тиражироваться в СМИ и обсуждаться на деловых повестках. Приверженец подхода BARC Score Иван Вахмянин — на стороне критиков:

— Можно придумать любую методологию, которая расставит всех как угодно. Вопрос в том, соответствует ли это восприятию большинства людей, пользователей, аналитиков?

Вот MicroStrategy, например. Действительно сильный инструмент, полновесный Enterprise, а Гартнер его здесь, можно сказать, чуть ли ногами не запинал :)

Или ThoughtSpot. В этом году его нет в квадранте с лидерами, но несколько лет он там был. Вместе с Microsoft, Qlik и Tableau. Ну реально? Неужели кто-то скажет, что это продукт того же уровня? Гартнер склонен к всяким «хайповым» вещам, поэтому поднял эту систему в лидеры за ее фишку Search Based. Но вряд ли кто-то будет спорить, что в остальном это куда более «сырой» продукт.

Ну и еще момент. На зарубежных конференциях сейчас активно обсуждают вход на рынок BI всяческих Hyper Sellers: в части с нишевыми игроками здесь есть Alibaba, Amazon. Почему тогда нет «Яндекса» с его DataLens? В общем, как по мне, квадрант Гартнера пока еще оставляет желать лучшего.

Он будет развиваться. Это не только моя мысль — на том же сошлись все участники профессиональной дискуссии. Единогласно отметили улучшение многих отечественных продуктов и так же единогласно сошлись во мнении, что в 2022 году «BI-круг Громова» явно перешел на качественно новый уровень.

Соглашусь с этим, потому что лично я вижу явный прогресс. Еще лет 5 назад у вендоров не было открытых прайсов и демостендов, заказчик не мог «пощупать» продукт перед покупкой. Иногда оказывалось, что в результате клиент купил не BI-платформу, а разработанный под него чуть ли не с нуля продукт. Соответственно, подсаживался на иглу вечной техподдержки одного вендора.

Сейчас рынок устроен иначе. Вендоры проводят открытые воркшопы, дают потенциальным клиентам демодоступ к своим платформам. То есть образовалась та самая рыночная конкуренция, которой раньше не было и без которой рынок не может быть здоровым в принципе.

Изменилось и BI-сообщество. Во-первых, оно здорово сплотилось за последнее время. Во-вторых, в профессиональных обсуждениях больше нет споров о том, какой российский вендор лучше. Дискуссии строятся на объективных критериях, когда продукты просто нельзя сравнивать между собой, потому что они нацелены на разные типы задач, разные аудитории и разные отрасли. Лично меня это очень радует, потому что зрелость профессионального комьюнити — это всегда отражение зрелости рынка.