Хранилище данных хорошо отвечает на вопросы, которые вы задали при его проектировании. Озеро данных принимает сырые данные любого формата и откладывает решение об их структуре до момента запроса. Для аналитики и машинного обучения это принципиально: модели требуют исторических, детальных, неагрегированных данных, а не витрин, собранных под отчётность. Ниже – как собрать озеро, которое работает в продакшене, а не превращается в свалку файлов.

Зоны хранения, а не одна папка

Озеро без структуры быстро деградирует до «болота данных», куда никто не заглядывает дважды. Чтобы этого не произошло, разделите хранилище на зоны.

  • Raw (сырая зона). Данные приземляются как есть – логи, выгрузки из АБС, телеметрия с устройств, файлы CSV и JSON. Ничего не меняем, ничего не теряем. Это ваш источник истины и страховка на случай ошибки в обработке.
  • Staging/Cleansed. Здесь данные проходят валидацию, дедупликацию, приведение типов. Появляются партиции по дате и источнику.
  • Curated (витринная зона). Подготовленные наборы под конкретные задачи: фичи для моделей, агрегаты для BI, выгрузки для регуляторной отчётности.

На стеке Hadoop это HDFS плюс форматы Parquet и ORC для колоночного хранения; на объектном хранилище – S3-совместимые бакеты с теми же форматами. Колоночное хранение и партиционирование сокращают объём сканирования в десятки раз – а значит, и счёт за вычисления.

Каталог и качество: без них озеро мертво

Данные, которые нельзя найти и которым нельзя доверять, не имеют ценности. Два обязательных элемента архитектуры:

  1. Каталог метаданных. Реестр наборов с описанием схемы, владельца, источника и происхождения (lineage). Аналитик должен за минуту понять, откуда взялось поле и можно ли на него опираться.
  2. Контроль качества. Автоматические проверки на полноту, дубли, выход за границы значений. Плохие записи отправляются в карантин, а не отравляют витрины.

Озеро – фундамент для тех самых ML-инициатив, о которых мы писали в стратегии ИИ до 2030 года. Без воспроизводимого набора признаков обучение модели невозможно повторить, а значит, и доверять ему нельзя.

Доступ, безопасность и потоковый приём

В B2B и тем более в госсекторе доступ к данным разграничивается на уровне зон, наборов и отдельных полей. Персональные данные шифруются и маскируются ещё на входе – требования к их обработке мы разбирали в материале о практике после года GDPR, и для российских операторов 152-ФЗ диктует ту же дисциплину: согласия, локализация, журналирование доступа.

Озеро принимает данные двумя путями. Пакетная загрузка наполняет историю по расписанию. Потоковый приём через Kafka или NiFi нужен там, где данные рождаются непрерывно, – например, от промышленных датчиков и периферийных узлов, о которых речь шла в обзоре граничных вычислений и IoT. Часть фильтрации стоит выполнять на границе, чтобы в озеро попадал отобранный, а не мусорный поток.

Вывод

Озеро данных – не технология, а дисциплина: зоны хранения, каталог, контроль качества и разграничение доступа. Соберёте эти элементы – получите единую основу и для BI, и для машинного обучения. Пропустите хотя бы один – получите дорогое хранилище, которому никто не доверяет. Такие платформы проектируются под конкретные задачи бизнеса и госорганов на стыке аналитики и работы с данными.