Руководитель открывает дашборд, видит выручку на 12% выше реальной и принимает решение об инвестициях. Через месяц выясняется: в источник дважды попали возвраты, а филиал в Казани отгружал данные в другой валюте без пересчёта. Дашборд не сломался – он честно показал то, что в него загрузили. Проблема не в BI-инструменте, а в данных до него. По нашему опыту внедрений, 60–80% трудозатрат любого аналитического проекта приходится не на визуализацию, а на подготовку данных.
Почему дашборды врут
Визуализация не создаёт ошибки – она их усиливает и придаёт им вид достоверности. Типовые дефекты, которые мы находим в источниках заказчиков:
- Дубли. Одна и та же транзакция приходит из двух систем – CRM и учётной и считается дважды.
- Рассогласование справочников. «ООО Ромашка», «Ромашка ООО» и «Ромашка» – три разных контрагента для машины и один для человека.
- Несовместимые единицы. Килограммы и тонны, рубли и копейки, разные часовые пояса в метках времени.
- Пропуски и заглушки. Пустые поля, «0», «н/д» и «99999» в роли «значения не знаем» ломают любую агрегацию.
- Сдвиг периодов. Данные дозагружаются задним числом, и вчерашний отчёт сегодня уже не воспроизводится.
В госсекторе цена ошибки выше: на основе таких цифр формируют отчётность для надзорных органов и обоснования бюджетных расходов. Здесь же добавляется требование суверенности стека – после ужесточения правил вокруг запрета иностранного ПО на объектах КИИ чистку и хранение данных приходится строить на отечественных СУБД и ETL-платформах.
Как это исправить: процесс, а не разовая акция
Очистка данных – не уборка перед запуском, а постоянный конвейер. Мы выстраиваем его в несколько слоёв:
- Профилирование. Прежде чем чистить, измеряем: доля пропусков по полям, распределения, выбросы, уникальность ключей. Без профиля вы чините вслепую.
- Правила валидации. Формализуем ограничения: дата отгрузки не раньше даты заказа, сумма ≥ 0, ИНН проходит контроль контрольной суммы. Нарушения отправляются в карантин, а не в дашборд.
- Дедупликация и нормализация. Сводим записи по устойчивым ключам, приводим справочники к единым кодам, единицы – к базовым.
- Прослеживаемость. Каждая строка в витрине должна отвечать на вопрос «откуда ты и когда пришла». Это закрывает споры между подразделениями о «правильной» цифре.
Ключевой принцип – чистить данные на входе в хранилище, а не в каждом отчёте отдельно. Иначе пять аналитиков напишут пять разных формул «активного клиента», и согласовать их потом нереально. Именно эта дисциплина делает безопасным self-service BI: когда витрины доверенные, бизнес-пользователь собирает отчёты сам и не плодит противоречивые версии правды.
Где помогает автоматизация
Часть проверок имеет смысл вынести за пределы жёстких правил. Аномалии, которые не описать формулой – нетипичный всплеск в одном регионе, подозрительная сезонность, – хорошо ловятся статистическими моделями и агентными ИИ-подходами, которые помечают сомнительные записи для ревью. Но автоматизация не заменяет правила: она дополняет их там, где границу нормы заранее не провести.
Вывод
Дашборд – это зеркало данных, а не фильтр. Пока на входе мусор, любая, даже самая красивая визуализация будет аргументированно вводить в заблуждение. Инвестиции в очистку и управление качеством данных окупаются раньше, чем покупка ещё одной BI-лицензии. Доверенный слой данных под аналитику вырастает из промышленного конвейера очистки – от профилирования источников до витрин, а не из ещё одного дашборда поверх сырого источника.
