OpenAI представила GPT-4 13 марта. Главное отличие от предшественников – модель принимает на вход не только текст, но и изображения. Для прикладных ИИ-продуктов это смена класса задач: теперь одна модель читает скан договора, диаграмму, скриншот интерфейса или фотографию документа и отвечает на вопросы по содержимому. Разберём, что это меняет для интеграторов и заказчиков из бизнеса и госсектора и где проходят границы применимости.

Что даёт обработка изображений

Раньше распознавание документа и понимание его смысла были двумя разными пайплайнами: OCR извлекал текст, отдельная модель его классифицировала, третий слой искал сущности. GPT-4 сжимает цепочку: модель видит страницу целиком – текст, таблицы, печати, рукописные пометки в их взаимном расположении. Это снимает часть ошибок, которые возникали на стыке OCR и анализа.

Практические сценарии, где это работает уже сейчас:

  • Разбор первичных документов – счета, акты, накладные с нестандартной вёрсткой.
  • Контроль заполнения форм и заявлений в МФЦ и ведомственных порталах.
  • Поддержка операторов: пользователь присылает скриншот ошибки, модель объясняет причину.
  • Анализ инженерных схем и чертежей с текстовыми подписями.

GPT-4 также заметно точнее на длинном контексте и сложных рассуждениях. Это важно для задач, где раньше модель «срывалась» на третьем-четвёртом шаге логической цепочки – например, при сверке условий договора с регламентом.

Где границы и какие риски остаются

Мультимодальность не отменяет фундаментальную проблему генеративных моделей – уверенные выдумки. Модель по-прежнему может сгенерировать правдоподобный, но неверный ответ по картинке, особенно если изображение размытое или нетипичное. Архитектура контроля та же, что мы разбирали для текстовых чат-ботов: не доверять модели как источнику истины, а строить её поверх проверяемых данных и фиксировать пороги уверенности.

Второй вопрос – данные и периметр. GPT-4 доступна как облачный API, и отправка туда персональных данных, банковской тайны или документов с ограниченным доступом упирается в 152-ФЗ и отраслевые требования. Для госсектора и финансов это означает либо обезличивание на входе, либо изолированный контур с open-source моделями, дообученными под задачу. На фоне курса на импортозамещение в финтехе ставка на единственный зарубежный API выглядит рискованной – закладывайте сменяемость модели в архитектуру с первого дня.

Третий момент – безопасность входного канала. Изображение как новый формат ввода расширяет поверхность атаки: через картинку можно протащить инъекцию инструкций или вредоносную нагрузку. Принципы защиты периметра, о которых мы писали в материале о противодействии кибератакам, здесь применимы напрямую – валидация входа, изоляция обработки, аудит запросов.

Как подходить к внедрению

Мультимодальность – не повод переписывать продукт. Это повод пересмотреть те участки, где раньше распознавание и понимание документов давали высокую долю ручного разбора. Начинайте с узкой задачи и измеримой метрики: доля документов, прошедших без оператора, время обработки заявки, число возвратов на доработку.

Путь от пилота на одном типе документов до промышленной эксплуатации прикладного ИИ-решения проходит через требования к данным и контуру и сохранение человека в контуре принятия решений.

Вывод

GPT-4 переводит мультимодальность из исследовательской демонстрации в инструмент для продуктов. Выигрывают те, кто строит вокруг модели проверяемую логику, держит данные в правовом периметре и закладывает сменяемость модели. Сама по себе картинка на входе ничего не решает – решает архитектура вокруг неё.