Разработка международных стандартов в области испытаний и безопасности ИИ

Адам Леон Смит, эксперт в области регулирования ИИ и технических стандартов, председатель Международного консорциума по инфраструктуре качеств ИИ (AIQI)

Каждую неделю появляются заголовки о новых угрозах, связанных с искусственным интеллектом. Вытеснение людей с рабочих мест, нарушение функционирования критической инфраструктуры, распространение дезинформации и даже угроза существованию человечества – кажется, перечень возможных негативных последствий применения ИИ постоянно растет. Вслед за такими сообщениями обычно звучат призывы к усилению регулирования. Однако оно может быть эффективным только в том случае, если существуют способы измерить и подтвердить, действительно ли системы ИИ являются безопасными.

Сегодня уже мало кто оспаривает необходимость надзора за ИИ. Правительства различных стран вводят нормативные требования и разрабатывают механизмы регулирования, призванные обеспечить безопасность, прозрачность и доверие к системам ИИ. Европа первой приняла всеобъемлющий законодательный акт – Закон ЕС об искусственном интеллекте (EU AI Act), устанавливающий для организаций требования по управлению рисками, обеспечению прозрачности, осуществлению человеческого надзора и обеспечению кибербезопасности. В США действует множество законов на уровне отдельных штатов, отраслевых нормативных требований и добровольных механизмов, таких как Рамочная система управления рисками ИИ NIST (NIST AI Risk Management Framework), охватывающая, в частности, вопросы безопасности, защищенности и прозрачности. Китай ввел рекомендации и нормативные требования, предусматривающие, среди прочего, регистрацию алгоритмов, проведение оценки безопасности, обеспечение прослеживаемости и маркировку контента, созданного с помощью ИИ. Несмотря на различия между этими подходами, все они исходят из общих принципов: необходимы безопасные, защищенные и прозрачные системы ИИ, функционирующие под контролем человека.

Однако одних принципов недостаточно, чтобы установить, достигаются ли эти цели на практике.

Хорошую аналогию дает авиация. Правительства не ограничиваются тем, что требуют от изготовителей воздушных судов создавать безопасные самолеты, а затем просто надеются на лучшее. Безопасность должна быть подтверждена посредством строгих испытаний, оценки и верификации. До начала эксплуатации изготовитель должен представить доказательства того, что воздушное судно соответствует установленным техническим требованиям и нормативным положениям.

Для ИИ должно действовать то же правило. Испытания, оценка и подтверждение являются чрезвычайно важными элементами обеспечения безопасности.

Если разработчик ИИ заявляет, что его чат-бот является надежным или что его модель ИИ не будет формировать вредоносные результаты, какие объективные доказательства он может предоставить в подтверждение этих заявлений? Без надежных методов испытаний и верификации регулирование, необходимость которого сегодня признается практически всеми, рискует остаться не более чем совокупностью благих намерений.

Почему стандарты имеют значение

Стандарты часто упоминаются в дискуссиях о регулировании ИИ, однако их роль нередко понимается неправильно либо остается без должного внимания. Между тем стандарты могут стать основой такого регулирования, которое позволит получать преимущества от применения ИИ, одновременно снижая риски, вплоть до рисков катастрофического масштаба.

Стандарты не препятствуют инновациям и не заменяют законодательство. Они устанавливают практические методы определения того, достигаются ли цели и выполняются ли требования, установленные нормативными актами. Международные стандарты позволяют применять согласованные подходы к испытаниям и измерению параметров безопасности и характеристик систем, результаты которых можно сопоставлять и которым можно доверять в разных странах.

Например, стандарты, разрабатываемые совместным комитетом IEC/ISO SC 42, упоминаются во многих обсуждениях вопросов государственной политики и регулирования ИИ по всему миру. В разработке этих стандартов участвуют представители промышленности, государственных органов, академического сообщества и гражданского общества. Они помогают установить не только что именно следует оценивать, но и каким образом должны проводиться оценка и подтверждаться заявленные характеристики.

Иными словами, стандарты помогают превратить цели и задачи регулирования в проверяемые доказательства.

Проблемы генеративного ИИ

Одной из особенностей генеративного ИИ является его универсальный характер, при котором входные данные и результаты работы представлены на естественном языке. Это существенно повышает сложность оценки качества, в том числе вследствие необходимости оценивать результаты в различных формах представления – в виде текста, аудио, изображений и видео. В связи с этим получили развитие различные специализированные методы оценки, включая тестирование методом «красной команды» (red teaming) и сравнительное оценивание по контрольным показателям (benchmarking).

При этом возникает ряд важных вопросов. Как измерять надежность или точность системы, если единственного правильного ответа может не существовать? Как измерять вредоносность результатов? Как убедиться в надежности и устойчивости системы, если ее ответы невозможно однозначно предсказать?

На эти вопросы необходимо ответить, если мы хотим создавать безопасные системы ИИ, которым смогут доверять регулирующие органы, разработчики, изготовители и конечные пользователи.

Именно поэтому разработка стандартов в области испытаний и оценки генеративного ИИ приобретает все большее значение. Такие работы, как разработка серии стандартов ISO/IEC 42119, направлены на формирование структурированных подходов к оценке систем генеративного ИИ и результатов их работы. Это позволяет повысить согласованность и обоснованность методов оценки и, как следствие, укрепить доверие к результатам такой оценки.

За пределами заголовков

ИИ вызывает серьезные опасения в связи с потенциальным вредом, который он способен причинить. Однако при надлежащем регулировании он способен принести и значительную пользу. Поэтому ключевой вопрос, который нам следует поставить, заключается в следующем: как определить, является ли система ИИ безопасной, защищенной и заслуживающей доверия?

Будущее ИИ может зависеть не только от защитных мер, устанавливаемых государствами, но и от наличия методов, позволяющих объективно подтвердить соблюдение установленных требований.

https://www.iec.ch/blog/ai-safety-needs-more-rules-it-needs-evidence