Anthropic pide a otras empresas desacelerar avance de la IA, ¿por qué?

El CEO de Anthropic, Dario Amodei, hizo un llamado a otras empresas de Inteligencia Artificial, para desacelerar el avance de esta tecnología. ¿Por qué?

Amodei dijo que era moderar el ritmo al que avanza la Inteligencia Artificial, para atender los crecientes temores sobre el uso indebido de esta tecnología, y expuso un marco de tres pasos para determinar le ritmo de desarrollo y tener más tiempo para revisar riesgos.

"Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos hacer un uso prudente del tiempo que ganemos", afirmó Amodei en un artículo publicado en X.

El ensayo se publicó luego de que Anthropic dio a conocer un informe de inteligencia sobre amenazas, en el que se explicaba cómo varios actores utilizaron sus modelos de IA “Claude”, para actividades como el desarrollo de armas, operaciones cibernéticas, vigilancia y fraude.

La alarma sobre el daño en la reputación de la IA, tuvo un aumento esta semana, luego de que el investigador de Anthropic, Jacob Coxon, renunció a la empresa, y afirmó que "las personas que desarrollan la IA creen sinceramente que podría matarnos a todos antes de que termine la década".

Amodei dejó en claro que no pedía que se detuviera el entrenamiento de los modelos ni el progreso técnico, pero era necesario garantizar que las empresas tomaran el tiempo para ajustar y proteger sus modelos, y que evaluadores independientes confirmaran estas medidas.

Amodei propone un marco de tres pasos, y afirmó que Anthropic incorporaría evaluadores externos permanentes en las empresas líder de IA, con acceso a herramientas pertinentes, y a los procesos internos de evaluación de riesgos.

También, señala un caso reciente de cómo los sistemas de IA avanzan "a un ritmo vertiginoso", desde este verano, porque los propios modelos están ayudando a diseñar la siguiente generación de sistemas.

El caso Hugging Face, en el que agentes de OpenAI coordinados realizaron ciberataques no solicitados e incluso intentaron 'hackear' sistemas de evaluación, puso en alerta a Amodei como un evento en el que los sistemas de IA llegaron a "sacrificarse por el éxito del grupo", e intentaron hackear al "evaluador" responsable de medir su rendimiento.

"Es fácil descartar este incidente porque nadie resultó herido y el daño económico fue mínimo pero, en mi opinión, un enjambre que poseyera mayores capacidades, pero un nivel similar de desalineación podría haber causado daños catastróficos", señaló el CEO de Anthropic.

También, alertó que una 'botnet' persistente podría causar "cientos de miles de millones de dólares" en daños en un plazo de seis a doce meses.

La propuesta de Amodei, destaca "desarrollar IA a un ritmo equilibrado que garantice su seguridad, al tiempo que se obtienen sus beneficios y se abordan importantes dilemas geopolíticos", e implica a todos los ámbitos de la sociedad.

Amodei señala que las empresas de IA de frontera "se comprometen a otorgar un acceso continuo, similar al de un empleado, a un equipo de evaluadores externos integrados", para que verifiquen el cumplimiento de las prácticas y los compromisos de seguridad a lo largo de todo el proceso.

La idea es que haya una coordinación democrática entre las empresas de IA, dentro de los países democráticos para "establecer estándares de seguridad comunes, así como límites al ritmo del progreso de la IA sin supervisión", que después trabajen en una “coordinación global”.

"Las medidas que propongo para avanzar en este campo a un ritmo seguro no serán fáciles. Pero creo que tenemos la obligación con la humanidad de intentarlo", afirma Amodei.

Con información de Reuters y Europa Press.