Компании закупают BI-платформы, нанимают аналитиков и запускают пилоты по машинному обучению – а потом упираются в одну и ту же стену. Дашборд показывает три разные цифры выручки, модель учится на дублях, отчёт в надзорный орган не сходится с учётной системой. Причина почти всегда не в инструменте, а в данных. Качество данных – фундамент, на котором стоит вся аналитика и ИИ. Управление этим качеством называется Data Governance, и без него любой проект по данным остаётся пилотом.
Что входит в качество данных
Качество данных раскладывается на измеримые характеристики. Полнота: нет пустых обязательных полей. Точность: значение соответствует реальности. Непротиворечивость: одна сущность не задвоена под тремя ключами. Своевременность: данные приходят к моменту, когда по ним принимают решение. Прослеживаемость: видно, откуда взялась цифра и через какие преобразования прошла.
Каждую характеристику можно превратить в метрику и измерять регулярно. Доля заполненных ИНН в справочнике контрагентов, число записей с конфликтующими адресами, лаг между событием и его появлением в витрине – это не абстракции, а KPI, по которым видно состояние данных. Без таких метрик «улучшение качества» остаётся лозунгом, под который нельзя выделить бюджет и нельзя проверить результат.
Data Governance: процессы, а не разовая чистка
Разовая чистка справочника даёт эффект на квартал, потом грязь возвращается. Data Governance переводит работу с данными в постоянный режим и закрепляет три вещи.
Первое – владение. У каждого набора данных есть владелец (data owner), который отвечает за его корректность, и распорядитель (data steward), который ведёт правила и разбирает инциденты. Без явного владения данные становятся ничьими, а ничьи данные деградируют.
Второе – правила и контроль. Описываете бизнес-глоссарий, фиксируете эталонные справочники (MDM), задаёте проверки на входе в хранилище. Часть проверок встраивается прямо в конвейеры загрузки, и битая запись отбраковывается до того, как попадёт в отчёт.
Третье – автоматизация. Ручные регламенты не масштабируются. Проверки качества, версионирование схем и развёртывание витрин стоит описывать кодом и прогонять в пайплайне – здесь Data Governance смыкается с практиками инфраструктуры как кода, где воспроизводимость и контроль изменений уже стали нормой.
Почему без этого не взлетает аналитика и ИИ
Модель машинного обучения наследует все дефекты обучающей выборки. Если в истории заказов задвоены клиенты, рекомендательная система будет предлагать товары не тем людям, а метрики покажут ложный рост. Garbage in, garbage out – старое правило, которое ИИ не отменяет, а усиливает: масштаб ошибки растёт вместе с масштабом автоматизации.
Для госсектора цена низкого качества выше. Расхождение данных в межведомственном обмене или в отчётности – это не просто кривой график, а юридические последствия и сорванные сроки. Здесь прослеживаемость и эталонные справочники перестают быть гигиеной и становятся требованием.
Качество данных проявляется на всех каналах: в дашборде руководителя, в мобильном приложении для сотрудников на местах, в выгрузке для регулятора. Единый управляемый источник избавляет от ситуации, когда каждый канал считает по-своему.
Вывод
Не начинайте проект по ИИ или BI с выбора платформы. Начните с инвентаризации источников, метрик качества и распределения ответственности за данные. Только после этого имеет смысл связывать управляемый источник с витринами и отчётностью. Сначала порядок в данных – потом всё остальное.
