Американская Nvidia Corp. запускает платформу для обеспечения безопасной работы ИИ-агентов, говорится в ее пресс-релизе.

Она называется Open Agent Safety Platform и состоит из открытого программного обеспечения Nvidia OpenShell и опциональной системы Nvidia Sentry.

OpenShell ограничивает масштаб ошибок агентов, обеспечивая постоянный контроль за тем, что они могут видеть, делать и с чем они могут взаимодействовать. Компонент оптимизирован для работы на центральных процессорах Nvidia Vera, но за счет открытого исходного кода его можно адаптировать и для сторонних решений, включая технологии Arm и Intel.

Sentry формирует дополнительную, независимую линию защиты, позволяя оценивать и контролировать процессы на аппаратном уровне c помощью процессоров для обработки данных (DPU) Nvidia BlueField-4. Эта система может помещать агентов на карантин за миллисекунды, утверждает Nvidia.

Open Agent Safety Platform уже интегрировали более 100 организаций, включая Anthropic, Microsoft, SpaceXAI, Perplexity и Hugging Face. OpenAI, Google и Meta в их числе не упоминаются.

За последнее время был предан огласке целый ряд случаев выхода ИИ-моделей за пределы специально изолированных сред (так называемых "песочниц") и попыток взлома ими сторонних систем. В том числе об этом сообщали OpenAI, Anthropic, Meta и Google. В частности, модели OpenAI получили несанкционированный доступ к системам репозитория Hugging Face.

Представитель Nvidia заявил журналистам в ходе удаленной конференции в воскресенье, что новая платформа компании смогла бы предотвратить инцидент с Hugging Face.