Gigantes tecnológicos firman código de buenas prácticas para controlar la IA: ¿qué incluye?
Entre los firmantes se encuentran Elon Musk, de X; Dario Amodei, de Anthropic; Sundar Pichai, de Google, y Jensen Huang, de Nvidia.
Los principales gigantes tecnológicos de Estados Unidos firmaron en la Casa Blanca un código de buenas prácticas para reforzar la supervisión de los riesgos relacionados con la inteligencia artificial (IA).
Entre los firmantes se encuentran Elon Musk, de X; Dario Amodei, de Anthropic; Sundar Pichai, de Google, y Jensen Huang, de Nvidia.
El documento fue presentado por el presidente estadounidense, Donald Trump, quien mantiene una postura contraria a establecer restricciones amplias al sector de la IA. El código es voluntario, aunque sus principios son considerados "moralmente vinculantes".
La carta señala que algunas de estas medidas podrían convertirse posteriormente en leyes o regulaciones.
¿Qué medidas contempla el acuerdo para reducir los riesgos de la IA?
El acuerdo establece cuatro niveles de supervisión para los proveedores de modelos de IA, que incluyen controles internos, evaluaciones externas y mecanismos de supervisión independiente.
El primero contempla controles internos destinados a garantizar que los sistemas cumplan las instrucciones establecidas por sus desarrolladores, principalmente en temas de ciberseguridad y bioseguridad.
Las compañías deberán formar equipos especializados para revisar estos controles y comprobar que sus modelos no ejecuten ciberataques ni ingresen de manera inesperada a sistemas técnicos.
También deberán establecer medidas para evitar la introducción, propagación y liberación de agentes patógenos, además de prevenir riesgos relacionados con productos químicos.
Estas medidas se plantean mientras OpenAI, Anthropic y Google han informado sobre incidentes relacionados con comportamientos inesperados de sus sistemas de inteligencia artificial.
Entre los casos mencionados se encuentran agentes de IA de OpenAI que accedieron de manera autónoma a un sitio del sistema sanitario australiano y a plataformas del gobierno de Estados Unidos.
Los agentes de IA son programas capaces de realizar acciones de manera autónoma para cumplir determinadas tareas.
¿Cómo funcionarán las auditorías y la supervisión externa?
El código también contempla la participación de evaluadores externos para revisar de manera independiente los controles aplicados por las empresas y determinar si funcionan de manera efectiva.
Anthropic y OpenAI ya trabajan con evaluadores externos y recientemente ampliaron el acceso de empresas auditoras a sus modelos. Las revisiones podrán realizarse durante la etapa de diseño de los sistemas y no solamente antes de su lanzamiento.
Anthropic también afirmó que no tendrá "ningún control editorial" sobre la publicación de los resultados de estas evaluaciones, incluso cuando sean desfavorables para la compañía.
El acuerdo contempla además la creación de un comité independiente integrado por representantes de las empresas en los niveles más altos de dirección. Entre sus funciones estarán revisar las evaluaciones internas y externas de los modelos de IA y supervisar la atención de posibles problemas.
Las compañías también acordaron reunirse de manera periódica para establecer normas y buenas prácticas relacionadas con el desarrollo y uso de estos sistemas.
La iniciativa coincide con un proyecto que OpenAI, Anthropic y Google DeepMind comenzaron a desarrollar para establecer un organismo encargado de supervisar los riesgos de la inteligencia artificial, tomando como referencia a la Autoridad Reguladora de la Industria Financiera de Estados Unidos (FINRA), una entidad de autorregulación del sector financiero.
La propuesta ha sido cuestionada por empresas competidoras como la francesa Mistral y la canadiense Cohere, que señalan que los gigantes tecnológicos estadounidenses podrían establecer las reglas del sector y mantener una ventaja competitiva.
El código establece así mecanismos de control interno, auditorías externas y supervisión de los sistemas de IA, aunque por ahora se mantiene como un acuerdo voluntario.
Con información de AFP.