Последние пять лет крупные компании и ведомства накапливали данные впрок. Логи транзакций, телеметрия оборудования, обращения клиентов, выгрузки из учётных систем – всё это оседало в хранилищах «на всякий случай». 2014-й меняет постановку вопроса. Объём данных перестал быть достижением сам по себе. Теперь от ИТ требуют ответ: что мы из этого извлекли и сколько это принесло. Как мы писали в прогнозе на год, именно аналитика, а не ёмкость дисков, становится точкой давления на бюджеты.

От терабайтов к решениям

Хранить дёшево, анализировать дорого – вот реальная пропорция 2014 года. Классическое корпоративное хранилище отвечало на заранее известные вопросы: квартальная выручка, остатки на складах, дебиторка. Большие данные ломают эту модель. Источники разнородны, схема меняется на лету, а половина ценности лежит в неструктурированном тексте и машинной телеметрии, которую реляционная база переваривает плохо.

Поэтому архитектура смещается. Hadoop из экзотики превратился в рабочий инструмент: он принимает сырые данные без жёсткой схемы и считает по ним пакетные задачи на дешёвом железе. Рядом встают in-memory СУБД и колоночные движки – они дают аналитику отклик в секунды там, где раньше отчёт строился полночи. Связка «озеро сырых данных плюс быстрая витрина» вытесняет монолитное хранилище.

Что это значит для госсектора

Госзаказчику большие данные интересны не ради моды. Налоговая аналитика, выявление аномалий в закупках, мониторинг социальных выплат, транспортные потоки – всё это задачи на стыке больших объёмов и регуляторных требований. Здесь два ограничения задают рамки проекта.

Первое – локализация и защита. Персональные данные граждан по 152-ФЗ нельзя складывать в произвольную внешнюю платформу, а курс на импортозамещение в госструктурах подталкивает к открытым и отечественным решениям вместо проприетарных лицензий. Второе – прослеживаемость. Аналитический вывод, на основе которого принимают управленческое решение, должен быть воспроизводим и объясним. Чёрный ящик в госсекторе не проходит.

Практический вывод: переход к аналитике часто начинается с переноса данных с дорогих проприетарных платформ на управляемую открытую основу. Мы разбирали этот путь в материале о миграции с проприетарных СУБД – он остаётся фундаментом, без которого большие данные превращаются в большие счета за лицензии.

С чего начинать в 2014-м

Не с закупки кластера. Сначала – вопрос, на который данные должны ответить, и оценка, сколько стоит ответ сегодня и сколько он мог бы стоить. Дальше – инвентаризация источников и качества данных: грязные данные обнуляют любую аналитику быстрее, чем нехватка вычислительных мощностей.

Затем строится пилот на одном измеримом сценарии – отток клиентов, прогноз спроса, выявление мошеннических операций. Пилот показывает реальную пропускную способность инфраструктуры и культуру работы с данными в организации, а не презентационные обещания вендора. Только после этого имеет смысл масштабировать платформу.

Масштабирование охватывает всю цепочку – от архитектуры озера данных и витрин до BI-отчётности и моделей прогнозирования, которые превращают сырые выгрузки в управленческие выводы.

Вывод

2014-й – год, когда большие данные перестают быть проектом хранения и становятся проектом анализа. Выигрывают не те, кто накопил больше, а те, кто быстрее превращает данные в решения и умеет доказать их ценность в деньгах. Итоги прошлого года и заданное им направление мы подвели в обзоре 2013-го; 2014-й проверит, кто сделал из этих данных выводы.