Microsoft представила Rampart и Clarity для обеспечения безопасности ИИ-систем

Релиз стал частью стратегии компании по внедрению непрерывных инженерных практик безопасности для агентных систем на базе искусственного интеллекта.

Основатель подразделения AI Red Team в Microsoft Рам Шанкар Сива Кумар заявил:

«Мы создали эти инструменты, потому что считаем, что безопасность ИИ должна стать непрерывной инженерной дисциплиной, а не периодической проверкой. Лучший способ добиться этого — предоставить практические открытые инструменты тем, кто непосредственно занимается разработкой».

Microsoft предупреждает о новых рисках ИИ-агентов

В компании отметили, что современные ИИ-агенты постепенно переходят от роли обычных чат-ботов к системам с реальными операционными полномочиями. По мнению Microsoft, это создает новые угрозы, для которых традиционные подходы к защите приложений не были рассчитаны.

Среди потенциальных рисков компания выделяет:

• внедрение вредоносных запросов;
• небезопасное использование инструментов;
• повышение привилегий;
• непреднамеренные автономные действия ИИ-систем.

Оба проекта уже доступны в формате open source.

Rampart предназначен для постоянного тестирования безопасности

Microsoft позиционирует Rampart как инструмент для интеграции непрерывного тестирования безопасности в процесс разработки и развертывания ИИ-агентов.

Платформа построена на базе PyRIT — собственного фреймворка Microsoft для автоматизации тестирования генеративных ИИ-систем методом red teaming.

Rampart позволяет запускать как вредоносные, так и безопасные сценарии взаимодействия с ИИ-агентами в автоматизированном формате.

Главная задача инструмента — заменить разовые проверки безопасности постоянным контролем в конвейерах CI/CD.

По словам Рама Шанкара Сивы Кумара:

«Если PyRIT ориентирован на исследование систем “черным ящиком” специалистами по безопасности уже после завершения разработки, то Rampart создавался для инженеров в процессе разработки системы».

Фреймворк должен помогать выявлять проблемы, связанные с межзапросными атаками, небезопасной обработкой данных, уязвимым выполнением инструментов и другими специфическими сценариями атак на ИИ-агентов до выхода продукта в промышленную эксплуатацию.

Также Rampart позволяет превращать результаты тестирования red team в повторяемые автоматизированные проверки для постоянного контроля изменений в работе ИИ-агентов.

Clarity анализирует архитектурные решения еще до написания кода

В отличие от Rampart, инструмент Clarity ориентирован на более ранний этап разработки — до начала программирования.

По данным Microsoft, Clarity предназначен для проверки и анализа предположений, лежащих в основе проектирования ИИ-агентов. Речь идет о поведении агентов, уровне предоставляемых им полномочий, взаимодействии с внешними сервисами и определении границ доверия.

Кумар пояснил:

«Clarity работает как настольное приложение, веб-интерфейс или встроенный компонент кодового агента. Он помогает инженерам проводить структурированные обсуждения, связанные с постановкой задачи, анализом решений, оценкой возможных сбоев и фиксацией принятых решений».

Все результаты таких обсуждений сохраняются в каталоге .clarity-protocol/ в формате Markdown-файлов. Их можно фиксировать в репозиториях, проверять через pull request и сравнивать так же, как исходный код.

Инструменты стали частью более широкой стратегии Microsoft

Rampart и Clarity продолжают развитие экосистемы инструментов Microsoft для управления безопасностью ИИ-агентов.

В прошлом месяце компания уже представила Agent Governance Toolkit — набор инструментов для контроля политик безопасности, управления правилами работы ИИ-агентов и внедрения механизмов защиты в соответствии с рекомендациями OWASP.