Бизнес и госсектор хотят ИИ-ассистента прямо в мобильном приложении – но не готовы отправлять персональные данные и коммерческую тайну в чужое облако. Решение есть: запускать модель на самом устройстве. Офлайн-инференс снимает большую часть рисков приватности и заодно убирает зависимость от сети. Разберём, когда это работает и что требуется от разработки.

Почему инференс на устройстве

Современные смартфоны несут NPU с производительностью в десятки TOPS. Этого хватает, чтобы крутить квантованные модели на 3–8 млрд параметров локально – Apple Intelligence на A18/M-серии и Qualcomm на Snapdragon 8 Elite показывают это серийно. Под капотом работают Core ML, ONNX Runtime, llama.cpp и MLC – все они отдают вычисления на NPU и GPU.

Что это даёт бизнесу:

  • Данные не покидают устройство. Распознавание документов, черновики писем, анализ переписки остаются локально – это снимает большинство вопросов по 152-ФЗ о персональных данных.
  • Работа без сети. Полевые сотрудники, склады, выезды, объекты без покрытия – агент отвечает всегда.
  • Нет платы за токены. Инференс не упирается в API облачного провайдера и его лимиты.
  • Предсказуемая задержка. Ответ не зависит от качества канала.

Минус честный: устройства неоднородны. Бюджетный Android не потянет ту же модель, что флагман. Поэтому on-device – не замена облаку, а нижний уровень в гибридной схеме.

Гибридная архитектура и приватность

Рабочий паттерн на 2026 год – маршрутизация запросов. Простые и чувствительные задачи (классификация, извлечение полей, краткая суммаризация, RAG по локальным документам) идут на устройство. Тяжёлые и неприватные (длинная генерация, сложные рассуждения) – в облако или на ваш сервер, и только после явного согласия и обезличивания.

Ключевой принцип: данные классифицируем до того, как агент решит, куда отправить запрос. Контур приватности задаётся правилами, а не доброй волей модели. Для российского заказчика это означает on-premise облачный контур, размещённый в РФ, и журналирование всех обращений к внешним сервисам.

Если агент в приложении действует автономно – вызывает функции, заполняет формы, инициирует операции, – закладывайте те же ограничения, что и для серверных агентов. Мы разбирали их в материале об автономных агентах: белый список действий, подтверждение необратимых шагов, аудиторский след.

Что закладывать в разработку

Мобильный ИИ-агент – это не «прикрутить модель к экрану». Учитывайте на старте:

  • Размер сборки. Модель на 2–4 ГБ нельзя класть в APK. Используйте отложенную загрузку весов и системные модели платформы (Apple Foundation Models, Android AICore).
  • Энергопотребление и нагрев. Долгая генерация сажает батарею. Ограничивайте длину ответа и выгружайте модель из памяти после простоя.
  • Версионирование модели. Веса обновляются отдельно от кода – нужен механизм доставки и отката.
  • Тестирование качества. Квантование снижает точность. Замеряйте деградацию на ваших сценариях до релиза.

Перед внедрением проведите аудит ИИ-системы: где модель ошибается, какие данные утекают в облако, как агент ведёт себя на краевых случаях. Результаты инференса полезно сводить в общую аналитику – по тем же принципам, что и корпоративный BI-стандарт, чтобы видеть реальную пользу агента, а не только демо.

Вывод

Офлайн-инференс перестал быть экзотикой – железо и фреймворки готовы. Для B2B и госсектора это прямой путь к ИИ-функциям без передачи данных третьим лицам. Главное – продумать гибридную маршрутизацию, контур приватности и обновление моделей на старте, а не после релиза. Защита данных и автономный агент на устройстве закладываются ещё на этапе проектирования мобильного приложения, а не достраиваются поверх готового продукта.