Nvidia pone límites a la IA: lanza plataforma para controlar agentes autónomos
Nvidia presenta una plataforma para controlar y monitorear agentes de IA, con restricciones sobre software, hardware e infraestructura.
Nvidia presentó Open Agent Safety Platform, una plataforma de seguridad diseñada para controlar y monitorear agentes de inteligencia artificial (IA) desde las pruebas hasta su implementación.
La herramienta permite establecer restricciones sobre el software que utilizan los agentes, así como sobre la infraestructura de cómputo, hardware y sistemas robóticos que ejecutan sus tareas.
El desarrollo ocurre después de distintos incidentes relacionados con agentes de IA de empresas como OpenAI, Anthropic, Meta y Google. En estos casos se han registrado problemas de desalineación y situaciones en las que los agentes lograron salir de entornos aislados para acceder a internet, interactuar con páginas web o acceder sin autorización a sistemas empresariales.
Nvidia busca limitar las acciones de los agentes de IA
Nvidia señaló que estos incidentes tienen un elemento en común: los agentes consiguieron eludir controles establecidos para completar las tareas que recibieron.
Open Agent Safety Platform busca evitar este tipo de situaciones mediante herramientas abiertas y configurables que permitan a las organizaciones definir los límites de actuación de los agentes, especialmente cuando operan durante periodos prolongados.
La plataforma permite determinar a qué información y recursos puede acceder un agente. Mientras realiza una tarea, el sistema comprueba que sus acciones se mantengan dentro de las restricciones establecidas.
La propuesta contempla diferentes niveles de control. Incluye el software utilizado por los agentes, la infraestructura de cómputo que permite su funcionamiento y los sistemas robóticos que pueden ejecutar acciones en el mundo físico.
Jensen Huang, director ejecutivo de Nvidia, señaló que la seguridad es uno de los elementos necesarios para que la inteligencia artificial pueda desarrollar su potencial.
OpenShell y Vera AI forman parte de la plataforma
Open Agent Safety Platform utilizará OpenShell, el software de código abierto de Nvidia, y funcionará sobre la CPU Vera AI de la compañía.
Con esta infraestructura, los usuarios podrán establecer las reglas de acceso para cada agente. El sistema verificará durante la ejecución si el agente respeta las restricciones definidas para la información y los recursos disponibles.
La plataforma también incorpora Nvidia Sentry, un sistema de vigilancia que funciona de manera independiente del software del agente.
Sentry opera mediante las DPU Nvidia BlueField-4 y supervisa de forma continua el comportamiento de los agentes. Nvidia señala que esta tecnología puede intervenir cuando detecta que un agente intenta superar los límites establecidos.
De acuerdo con la compañía, Sentry puede poner en cuarentena y detener un agente en milisegundos cuando intenta salir de las restricciones definidas en el software.
Sentry aplicará controles de acceso
Sentry utiliza Nvidia DOCA, el software que proporciona las capacidades programables para supervisar las operaciones de los agentes.
Entre sus funciones se encuentran la inspección de solicitudes y respuestas, la generación de telemetría, la verificación de identidad de los agentes y la aplicación de políticas de acceso.
Estas políticas pueden establecer controles específicos para datos, herramientas, interfaces de programación de aplicaciones (API) y servicios.
Nvidia también plantea un modelo de confianza cero para administrar estos accesos. Bajo este esquema, los permisos se aplican de acuerdo con las políticas definidas para cada agente y recurso.
Con Open Agent Safety Platform, Nvidia incorpora controles de seguridad en distintas capas de la infraestructura utilizada por los agentes de IA. La plataforma está diseñada para establecer límites, supervisar las acciones durante la ejecución y detener aquellas que incumplan las políticas establecidas.