Модель машинного обучения хороша ровно настолько, насколько хороши данные под ней. Год активного интереса к генеративным сетям это только подтвердил: компании запускают пилоты, а потом упираются в то, что данные лежат в десятке систем, в разных форматах и без понятного владельца. Дата-платформа решает эту проблему до того, как она дойдёт до дата-сайентиста. Это не модный термин, а инженерный слой между источниками и потребителями данных – аналитиками, BI-отчётами и ML-моделями.

Зачем единый слой данных

Без общего слоя каждая команда собирает данные заново. Маркетинг тянет выгрузки из CRM, финансы – из учётной системы, аналитики дублируют логику в SQL-скриптах. В итоге одна и та же метрика считается тремя способами, а на согласование цифр уходит больше времени, чем на сам анализ.

Дата-платформа централизует три вещи:

  • Сбор и хранение. Потоковая и пакетная загрузка из источников в озеро данных и хранилище. Сырьё отделено от обработанных витрин.
  • Качество и контроль. Проверки целостности, отслеживание происхождения данных (data lineage), каталог с описанием полей и владельцами.
  • Доступ. Единые витрины и API, через которые BI и модели берут уже подготовленные, согласованные данные.

Для госсектора к этому добавляется требование локализации хранения и работы на отечественном стеке. После ухода ряда зарубежных вендоров это перестало быть теорией – мы переносили хранилища на российские СУБД и Greenplum-совместимые решения в рамках тех же проектов, что и импортозамещение в мобильной разработке.

Что меняется для ML

ML-команда не должна тратить 80% времени на подготовку данных – а именно так происходит без платформы. Единый слой даёт инженерам признаков (feature engineering) стабильный источник: витрины обновляются по расписанию, схема зафиксирована, история изменений сохранена. Модель, обученная на таких данных, воспроизводима – её можно переобучить через полгода и получить сопоставимый результат.

Это критично для прикладных задач. Когда мы строили распознавание документов на компьютерном зрении, половина работы пришлась на сборку размеченного датасета и конвейер его обновления, а не на саму модель. Платформа эту часть стандартизирует: разметка, версионирование выборок и подача в обучение становятся повторяемым процессом, а не разовым подвигом.

Тот же фундамент нужен и под текстовые сценарии. За год работы с большими языковыми моделями стало ясно: эффект дают не сами модели, а ваши собственные данные, поданные в них корректно – через поиск по базе знаний и контролируемые источники. Без слоя данных это превращается в ручную сборку контекста под каждый запрос.

С чего начинать

Не стройте платформу ради платформы. Отталкивайтесь от двух-трёх реальных задач – отчёта, который дольше всего собирают вручную, и одной ML-гипотезы. Под них спроектируйте источники, витрины и регламент качества. Дальше слой расширяется по мере появления новых потребителей.

Архитектуру и стек подбираем под ваши объёмы, требования к локализации и зрелость команды, а готовые витрины замыкаем на аналитику данных и BI, чтобы бизнес видел результат, а не сырые таблицы.

Главный итог простой: данные – это актив только тогда, когда они доступны, проверяемы и воспроизводимы. Дата-платформа превращает разрозненные выгрузки в такой актив и делает аналитику и ИИ предсказуемыми, а не зависящими от героизма отдельных специалистов.