Microsoft urge a reevaluar la seguridad y gobernanza de la IA para evitar riesgos futuros
Microsoft afirma que no se puede tratar a esta tecnología como un conjunto de cajas negras anidadas
Microsoft se acaba de sumar a tecnológicas como OpenAI y Antrhopic que piden reevaluar la arquitectura de seguridad y gobernanza de la inteligencia artificial para evitar riesgos a futuro.
Satya Nadella, CEO de Microsoft, publicó en su cuenta de X un artículo titulado “Los modelos como riesgos internos en la era de la superinteligencia”, en el cual afirmó que no se puede tratar a esta tecnología como un conjunto de cajas negras anidadas y simplemente aceptar o rechazar sus recomendaciones, respuestas y acciones.
“Debemos construir sistemas cerrados cuyo comportamiento podamos observar, cuyos límites podamos probar y cuyas acciones podamos controlar siempre. En otras palabras, necesitamos separar el suministro de inteligencia de la autoridad que lo controla”, resaltó.
Anteriormente Sam Altman de OpenAI y Dario Amodei de Antrhopic ya habían comentado que se requiere desacelerar el desarrollo de esta tecnología, particularmente tras varios incidentes en los que sus agentes de inteligencia artificial vulneraron a las empresas que los estaban probando.
“La buena noticia es que hemos aprendido mucho sobre cómo manejar actores poderosos dentro de la empresa. ¡Esto no es nuevo! Hemos establecido mejores prácticas y las hemos perfeccionado durante décadas”, consideró Nadella.
Por lo mismo, aseguró que Microsoft está comenzando a aplicar al interior estos mismos principios, por ejemplo, ofreciendo transparencia con el modelo de cadena de pensamiento.
También consideró que se necesita diseñar estos sistemas basándose en los principios de observabilidad, es decir, ningún modelo debe ser la única dependencia para un resultado importante ni ser responsable de verificar su propio funcionamiento; cada acción significativa del modelo debe dejar evidencia inalterable y legible para humanos; se necesita probar continuamente todo el sistema; las organizaciones deben poder determinar de forma independiente a qué puede acceder un modelo y qué acciones puede realizar, así como contar con una auditoría independiente.
Aunque lo más importante para Nadella es que se debe asumir que un modelo está comprometido y contenerlo desde el principio.