В России обсуждают первый ГОСТ по безопасной разработке ПО с ИИ

Первый российский стандарт, специально заточенный под безопасную разработку ПО с ИИ, вышел на публичное обсуждение. У индустрии есть время до 17 сентября 2026 года, чтобы повлиять на финальный текст.

Что за документ и кто его написал

Полное название: «Защита информации. Разработка безопасного программного обеспечения, реализующего технологии искусственного интеллекта. Общие требования». Разработчики - ФСТЭК России, Институт системного программирования РАН и Сбер.

Стандарт позиционирует себя как надстройку над уже действующим ГОСТ Р 56939-2024 - базовым документом по безопасной разработке обычного ПО. Он не заменяет 56939, а дополняет его там, где специфика ИИ требует отдельных требований.

От ГОСТ Р 71539-2024 (который описывает систему ИИ целиком - данные, инфраструктуру, эксплуатацию) этот документ отличается фокусом: только программное обеспечение внутри ИИ-системы и только вопросы защиты информации при его создании. Этика, непредвзятость и прочие социогуманитарные темы стандарт явно выводит за рамки (пункт 4.9).

Что считается «ПО ИИ» по новому стандарту

Стандарт вводит понятийную рамку, которой раньше в явном виде не было. «ПО ИИ» - это связка из нескольких компонентов:

• ПО, обеспечивающее взаимодействие модели с остальным ПО
• ПО среды исполнения (то, что запускает модель и выдаёт результаты)
• ПО расширения функциональных возможностей - интеграции вроде RAG, вызов внешних инструментов
• опционально - ПО для обучения модели (если пользователь может дообучать модель на этапе эксплуатации)

Отдельно стандарт разграничивает три типа моделей. Собственные - права принадлежат разработчику. Заимствованные - чужие (включая open source), их можно включать в состав ПО ИИ только при наличии исходного кода и весов или если разработчик заимствованной модели сам выполнил требования этого стандарта. Привлекаемые - использовались только в процессе разработки (например, для генерации синтетических данных) и в конечный продукт не входят.

Это логика цепочки поставок: кто за что отвечает и что входит в периметр безопасности.

Новые термины, которые войдут в оборот

Стандарт формализует несколько понятий, которых раньше на уровне ГОСТа не было:

• Механизмы ограничения поведения модели ИИ - программы, контролирующие и ограничивающие обработку входных данных и результатов по заданным правилам
• Дрейф данных - изменение статистических характеристик входных данных модели относительно обучающей выборки
• Паспорт модели ИИ - документ со сведениями о структуре, производительности, качестве и безопасности модели (обязателен к созданию)
• Также формализованы: сжатие модели, файнтюнинг (отдельно от обучения), токенизатор, федеративное обучение, OOD-данные (данные, чьё распределение отличается от обучающего - стандарт прямо связывает их с непредсказуемыми результатами модели)

27 процессов: что новое, что изменилось

Стандарт делит все процессы разработки на три категории:

10 типовых - требования идентичны обычной безопасной разработке по 56939 (статический анализ кода, экспертиза исходного кода, безопасная сборка и т.д.). Для ИИ тут ничего менять не пришлось.

15 модифицированных - процессы из 56939, но с существенными ИИ-специфичными дополнениями: формирование требований, моделирование угроз, управление конфигурацией, тестирование и другие.

2 полностью новых - процессов, которых в 56939 вообще не было:

• управление наборами данных (процесс 5.26)
• безопасное обучение моделей ИИ (процесс 5.27)

Управление данными: кросс-аннотирование и федеративное обучение

Процесс 5.26 направлен против компрометации модели через манипуляцию данными.

Если разметка данных выполняется вручную, стандарт требует согласия большинства размечающих специалистов с ведением отдельного журнала кросс-аннотирования - кто, когда и к какому выводу пришли по каждому набору.

Для федеративного обучения отдельное требование: данные на распределённых узлах должны быть обезличены, а передаваемые градиенты защищены от восстановления исходных данных.

По локализации данных требование условное: инфраструктура хранения обучающих данных должна находиться в России только если ИИ-система классифицирована по ГОСТ Р 59277-2020 как опасная - по последствиям или по конфиденциальности информации. Для остальных проектов это не обязательное требование.

Перечень угроз, которые стандарт называет явно: отравление модели и данных, внедрение вредоносных примеров, включение конфиденциальных сведений в наборы данных и их утечка, несанкционированная модификация реестра наборов данных, кража обучающих данных.

Обучение моделей: локализация уже безусловная

Процесс 5.27 - жёстче. Требование по локализации здесь не привязано к классу системы: «Инфраструктура, в которой осуществляется обучение и (или) настройка модели ИИ, должна располагаться на территории Российской Федерации» - для любого обучения и файнтюнинга, попадающего под стандарт.

Угрозы для этого процесса конкретнее:

• отравление модели и данных (внедрение закладок, искажение поведения)
• отравление данных RAG
• использование уязвимых форматов заимствованных моделей
• несанкционированная модификация весов
• модельный коллапс - деградация модели при обучении на данных, сгенерированных другими моделями

Последний пункт показателен: стандарт признаёт проблему синтетических данных и обучения «на ИИ-выхлопе» как отдельную угрозу безопасности.

Что это значит

Если ты разрабатываешь или планируешь разрабатывать ПО с ИИ в России - этот стандарт напрямую касается тебя, особенно если работаешь с госзаказом или критической инфраструктурой.

Пока документ на стадии обсуждения, это реальная возможность повлиять на финальный текст. Обсуждение открыто до 17 сентября 2026 года.

Два момента, на которые стоит обратить внимание прямо сейчас:

• Требование по паспорту модели ИИ и журналу кросс-аннотирования - это новая документационная нагрузка, которую лучше закладывать в процессы заранее
• Безусловная локализация инфраструктуры обучения (процесс 5.27) - если сейчас используешь облачные сервисы за рубежом для файнтюнинга, это нужно учитывать при планировании

Источник: Habr, 30 июля 2025 - https://habr.com/ru/articles/1064870/