Договоры, накладные, акты, заявления, обращения граждан – бумага и сканы по-прежнему диктуют темп процессов. Сотрудник вручную читает документ, переносит данные в учётную систему, сверяет реквизиты, заводит карточку. Это медленно, дорого и даёт ошибки на каждом шаге. Intelligent Document Processing (IDP) переносит рутину на машину: документ распознаётся, классифицируется, из него извлекаются нужные поля, а результат уходит в бизнес-систему уже структурированным. Ниже – как это устроено и где границы технологии в 2021 году.

Что входит в конвейер обработки

IDP – не одна модель, а цепочка шагов. Сначала предобработка: выравнивание скана, удаление шума, разбивка многостраничных пачек. Затем OCR извлекает текст, в том числе из фотографий с телефона и факсов сомнительного качества. Дальше классификатор определяет тип документа – счёт это, договор или доверенность. И только потом извлечение сущностей: номер, дата, сумма, ИНН, стороны сделки.

Ключевое отличие современного подхода от старых шаблонных систем – машина понимает документ по структуре и контексту, а не по жёстко прописанным координатам полей. Поставщик прислал счёт в новом макете – система всё равно найдёт сумму и реквизиты, потому что обучена на тысячах вариантов. Для русскоязычных документов это критично: формы накладных и актов у каждого контрагента свои.

Архитектура: модели, потоки и хранение

Распознавание само по себе бесполезно, если результат некуда положить и нечем проверить. IDP работает как сервис внутри потоковой архитектуры. Загруженный документ публикует событие, конвейер подхватывает его асинхронно, прогоняет через модели и отдаёт структурированный результат дальше по событийной шине на Kafka. Так обработка масштабируется под пиковые нагрузки – например, конец квартала или приём заявлений в сжатые сроки.

Сырые документы и извлечённые данные стоит копить в едином хранилище. Это и источник для обучения моделей, и архив для аудита. Выбор между озером данных и хранилищем здесь не абстрактный – мы разбирали компромиссы в материале про Data Lake и DWH. Сами модели распознавания и извлечения требуют регулярного переобучения на свежих документах, версионирования и контроля качества в продакшене – это задача платформы MLOps, без которой точность деградирует незаметно.

Где проходит граница и как внедрять

Главная ошибка – ждать стопроцентной автоматизации. Реалистичная цель – обрабатывать 70–90% потока без человека, а спорные случаи отправлять оператору на проверку. Поэтому в контур обязательно встраивается human-in-the-loop: модель отдаёт результат с оценкой уверенности, и всё, что ниже порога, уходит на ручной разбор. Заодно эти исправления возвращаются в обучающую выборку.

Для госсектора добавляются жёсткие требования: размещение в защищённом контуре, протоколирование каждого решения, юридически значимый результат и хранение исходников по срокам из номенклатуры дел. Полностью «чёрный ящик» здесь не пройдёт аудит – нужна прослеживаемость от исходного скана до записи в системе.

Внедрять стоит итеративно: начать с одного массового типа документа, где ручной труд заметнее всего, замерить точность и экономию, затем расширять охват. Конвейер собирается под конкретные процессы заказчика – от OCR и моделей до интеграции распознавания в учётные системы.

Вывод

IDP убирает ручной ввод там, где он не создаёт ценности, и освобождает людей для работы со сложными случаями. Технология зрелая, но требует трезвых ожиданий, контроля качества моделей и встроенной проверки. Начинайте с узкого участка, измеряйте результат и масштабируйте от него.