В июле 2023 года Meta выпустила Llama 2 с разрешением на коммерческое использование. Это меняет расклад для российских компаний и ведомств: больше не нужно отправлять данные в чужое облако, чтобы получить полезную языковую модель. Открытые LLM можно поднять в собственном контуре – внутри периметра, под полным контролем службы безопасности. Разбираем, что это даёт на практике и где спрятаны издержки.

Зачем держать модель у себя

Облачные сервисы вроде GPT-4 удобны, но для госсектора и регулируемых отраслей у них один непреодолимый недостаток – данные уходят за пределы организации, нередко за рубеж. Для персональных данных, гостайны, коммерческой тайны это блокирующий фактор.

Self-hosted модель решает проблему в корне. Промпты и документы не покидают вашу сеть. Вы сами решаете, что логировать, как хранить и кто имеет доступ. Это снимает зависимость от иностранного вендора и его ценовой политики, а также от санкционных рисков отключения.

Кроме Llama 2 (версии на 7, 13 и 70 млрд параметров) на выбор есть Falcon от института TII, MPT от MosaicML, а из русскоязычных – модели от Сбера и Яндекса. Llama 2 при этом разрешена для коммерческого применения почти без оговорок: ограничение касается только сервисов с аудиторией свыше 700 млн пользователей в месяц.

Что потребуется по железу и людям

Главный миф – что нужен суперкомпьютер. Модель на 7B запускается на одной видеокарте с 16–24 ГБ памяти, а после квантизации (сжатия весов до 4–8 бит) помещается и на более скромное железо. Версия 13B комфортно работает на A100 или паре потребительских карт. Для 70B уже нужен серверный узел с несколькими ускорителями.

Реальная сложность не в инференсе, а в интеграции: дообучение под предметную область, подключение к корпоративным базам знаний, выстраивание retrieval-пайплайна, мониторинг качества ответов. Здесь по-прежнему острее всего ощущается нехватка инженеров, способных довести ИИ-проект до продакшена. Запустить демо – день работы. Сделать надёжный сервис – месяцы.

Где открытые модели уже окупаются

Не пытайтесь заменить ими всё сразу. Начните с узких задач, где ошибка не критична, а выигрыш измерим. Классификация обращений, черновики ответов, извлечение полей из документов – здесь открытые модели уже дают результат. Мы подробно разбирали такие сценарии в материале про автоматизацию обработки документов.

Помните про ограничения. Открытые модели в среднем уступают GPT-4 по качеству рассуждений и так же склонны к галлюцинациям – выдают убедительный, но ложный ответ. Поэтому в ответственных процессах модель работает в связке с проверкой по источникам и человеком в контуре принятия решений, а не вместо них.

Подбор модели под задачу, дообучение на ваших данных, развёртывание в защищённом контуре и интеграция с информационными системами складываются в построение интеллектуальных систем под ключ.

Вывод

Открытые LLM перестали быть игрушкой для исследователей – лицензия Llama 2 открыла им дорогу в корпоративную и государственную эксплуатацию. Главное преимущество для российского заказчика очевидно: данные остаются внутри, а зависимость от иностранных облаков исчезает. Цена вопроса – инженерные компетенции и инфраструктура. Начинайте с пилота на узкой задаче, считайте экономику и только потом масштабируйте.