Год закрываем – пора назвать ставки на следующий. Мы не гадаем по трендам с конференций, а смотрим на то, что уже работает у нас в проде и у заказчиков. Два направления в 2014 году дадут практический эффект для бизнеса и госсектора: контейнеры в эксплуатации и аналитика, которая считает данные в момент их появления, а не следующим утром.

Контейнеры выходят из песочницы

Docker за этот год прошёл путь от демонстрации до инструмента, который мы готовы ставить в продакшен. Версия 0.7 сняла привязку к AUFS и научилась работать поверх обычных ядерных механизмов – а значит, контейнеры запускаются на штатных дистрибутивах без экзотических патчей. Для нас это конкретная экономия: образ собирается один раз и одинаково ведёт себя на ноутбуке разработчика, на тестовом стенде и на боевом сервере. Разница между «у меня работало» и «в проде упало» сокращается до настроек окружения, а не до версий библиотек.

Тяжёлые виртуальные машины никуда не уходят, но под микросервис или фоновый обработчик гигабайтный образ ОС – избыточен. Контейнер стартует за секунды, занимает десятки мегабайт и упаковывает зависимости вместе с приложением. Для госзаказчиков это ложится на курс на отечественные сборки Linux, о котором мы писали летом: контейнеры одинаково работают на любой совместимой системе и снижают зависимость от конкретного вендора. Технология ещё молодая – кластерной оркестрации из коробки нет, безопасность изоляции требует ручной настройки. Поэтому в 2014 году мы рекомендуем контейнеризировать stateless-сервисы, а базы данных и критичные узлы пока оставлять на проверенных VM.

От ночных отчётов к реальному времени

Классическая схема – ночной ETL, утренний отчёт – перестаёт устраивать заказчиков. Когда решение нужно принять в течение часа, отчёт за вчера бесполезен. В 2014 году мы переносим часть нагрузки на потоковую обработку: Apache Kafka как шину событий, Storm для разбора потока на лету. Данные считаются по мере поступления, а витрина обновляется непрерывно, а не пакетом раз в сутки.

Это не отменяет хранилище. Hadoop и пакетные расчёты остаются для тяжёлой исторической аналитики, а поток закрывает оперативный контур – мониторинг транзакций, выявление аномалий, реакцию на события. Гибридная архитектура «поток плюс пакет» становится опорной схемой, когда мы строим аналитику и BI под нагрузку реального времени. Для госсектора у потоковой обработки есть прямое применение: контроль обращений и нагрузки в системах межведомственного взаимодействия, чьи требования к обмену данными мы разбирали в декабре. Реальное время здесь – не маркетинг, а способ увидеть сбой раньше, чем о нём сообщит заявитель.

Вывод

2014 год – про зрелость, а не про новизну. Контейнеры и потоковая аналитика перестают быть экспериментом и становятся рабочими инструментами там, где они дают измеримый выигрыш: быстрее выкатка, дешевле инфраструктура, оперативнее решения. Мы заходим в новый год с этими ставками – итоги уходящего подвели в отдельном обзоре. Ставить контейнеры ради контейнеров и считать поток ради потока смысла нет. Внедрять там, где это решает конкретную задачу заказчика, – будем.