Компании покупают дорогие платформы отчётности и ждут, что цифры сами расскажут правду о бизнесе. Через полгода руководитель смотрит на два дашборда и видит две разные выручки за один квартал. Виновата не платформа. Виноваты данные, которые в неё загрузили: дубли контрагентов, разнобой в названиях подразделений, пустые поля, даты в трёх форматах. BI не создаёт качество – он лишь усиливает то, что уже лежит в учётных системах. Поэтому любой проект аналитики начинается не с выбора инструмента визуализации, а с очистки и нормализации.

Грязные данные стоят дороже, чем кажется

Типичный заказчик держит данные в нескольких источниках: 1С, ERP, биллинг, унаследованные базы на FoxPro или Access. Один и тот же поставщик записан как «ООО Ромашка», «Ромашка ООО» и «Ромашка, ООО» – для системы это три разных юрлица. Справочники не синхронизированы между филиалами. ИНН местами проставлен с ошибкой, местами отсутствует. Когда такие данные сводят в одну витрину, аналитик получает не картину бизнеса, а её искажённую тень.

Цена ошибки растёт вниз по цепочке. Менеджер тратит часы на ручную сверку. Финансовый отдел не доверяет отчёту и ведёт параллельный учёт в Excel. Руководитель принимает решение по цифре, которая завышена на 15% из-за двойного учёта одной отгрузки. В госсекторе цена выше: расхождения в реестрах и регистрах ведут к претензиям контролирующих органов и срыву сроков предоставления отчётности.

Очистка и нормализация: что под этим понимать

Очистка – это удаление и исправление дефектных записей: дублей, опечаток, неполных строк, противоречивых значений. Нормализация – приведение данных к единым правилам: один формат дат, один справочник единиц измерения, единые коды регионов по ОКАТО, корректные ИНН и КПП, унифицированные названия по ЕГРЮЛ.

Работа идёт в несколько шагов. Сначала профилирование: мы измеряем, сколько в источниках дублей, пропусков, нарушений форматов – без этого нельзя оценить объём работ. Затем определяем мастер-данные: какой источник считается эталонным для справочника контрагентов, какой – для номенклатуры. Дальше настраиваем правила сопоставления и дедупликации, в том числе нечёткого – чтобы «Ромашка» во всех написаниях схлопнулась в одну запись. Финал – регламент: данные нужно держать чистыми постоянно, а не один раз перед запуском дашборда.

Эта дисциплина смыкается с управлением справочниками и нормативной информацией. Мы уже писали, как стандартизация повышает качество поиска и хранения документов – для аналитических данных действуют те же принципы единого классификатора.

Архитектура, которая не зависит от поставщика

Чистые данные нужно где-то консолидировать. Мы строим слой хранилища и витрин так, чтобы он не привязывал заказчика к одной проприетарной платформе. Тот же принцип независимости от поставщика инфраструктуры мы переносим на данные: открытые форматы выгрузки, документированные модели, ETL-процессы, которые можно перенести на другую СУБД. Это особенно важно для госзаказчиков, которым нельзя оказаться заложником одного вендора.

Меняется и сама точка доступа к аналитике. Браузер становится полноценным рабочим местом – достаточно посмотреть на анонс Google Chrome OS, чтобы понять, куда движутся интерфейсы. Отчёт открывается в окне браузера, но за ним по-прежнему стоит вопрос: можно ли доверять цифрам.

Вывод

BI – это надстройка над качеством данных, а не замена ему. Сначала очистка и нормализация, единые справочники и регламент сопровождения, и только потом витрины и дашборды. В таком порядке аналитика работает. Если вы планируете внедрение отчётности на грязных источниках, начните с фундамента – с построения чистого слоя данных и витрин для BI.