NanoClaw интегрировал JFrog для повышения безопасности пакетов для ИИ-агентов

Снижение рисков при использовании ИИ-агентов

Основатель NanoClaw и сооснователь NanoCo AI Гавриэль Коэн представил интеграцию во время мероприятия JFrog в Сан-Франциско, которое завершилось просмотром финала чемпионата мира.

По его словам, ключевая возможность платформы Claw-агентов, включая OpenClaw и NanoClaw, заключается в способности автоматически расширять свои функции за счет загрузки новых инструментов и ресурсов.

Однако Коэн отметил, что такой подход несет риски, особенно при работе с внешними пакетами, такими как npm, даже в случае изолированных и защищенных сред. Вредоносный код внутри контейнеров может сохранять возможность совершать нежелательные действия.

Также он подчеркнул, что разработчики не всегда могут быстро оценить надежность сторонних пакетов, что увеличивает время проверки и риск использования компрометированных зависимостей.

Использование проверенных репозиториев JFrog

Для решения этой проблемы NanoClaw интегрирован с репозиториями JFrog, что позволяет агентам загружать инструменты и библиотеки только из предварительно проверенных источников.

По словам Коэна, это снижает вероятность того, что агент получит доступ к небезопасному или вредоносному коду при расширении своих возможностей.

Agent Factory для обработки pull request

В рамках мероприятия также была представлена система Agent Factory, которая используется для автоматизированной обработки pull request в проектах NanoClaw.

Система предназначена для решения проблемы роста количества запросов на внесение изменений, которые увеличились на фоне развития ИИ-агентов для программирования.

Коэн отметил:

«Сейчас очень легко направить кодового агента на репозиторий и сказать: “создай pull request для этого проекта”. При этом становится сложно отличить качественный вклад от попыток искусственно повысить репутацию с помощью автоматизации».

Согласно описанию, PR Factory построена на NanoClaw и работает на платформе exe.dev, предоставляющей виртуальные машины с постоянным хранилищем.

Как работает система проверки изменений

При открытии pull request система автоматически запускает отдельного агента для анализа изменений. Этот агент создает ветку обсуждения в Slack, анализирует изменения кода и предлагает план тестирования.

При этом ключевые действия, включая слияние кода, запуск тестов и выполнение операций с доступом к учетным данным, требуют обязательного подтверждения человеком.

В документации отмечается:

«Ничего критического не происходит автоматически: слияния, тесты и действия с привилегированным доступом отображаются в виде карточек одобрения в чате и выполняются только после подтверждения человеком».

Безопасность через ограничение возможностей

Коэн также отметил, что попытки обеспечить безопасность ИИ-агентов только через инструкции недостаточны.

Он привел пример с инструкциями в конфигурационных файлах, таких как Claude.md, где могут содержаться предупреждения вроде запрета на удаление продакшн-баз данных.

По его словам, наличие таких инструкций означает, что система уже обладает потенциальной возможностью выполнить опасное действие, а значит, только ограничение прав доступа может обеспечить реальную безопасность.

Коэн подчеркнул:

«Инструкции помогают направлять ИИ-агента к полезным результатам, но они не являются механизмом безопасности. Единственный надежный способ предотвратить нежелательные действия — это не предоставлять агенту возможность их выполнять».

Именно этот принцип, по его словам, лежит в основе архитектуры NanoClaw.