Exempleados de OpenAI piden que la IA pueda ser supervisada por humanos
Tres investigadores de OpenAI piden no desarrollar IA cuyo razonamiento sea ilegible para los supervisores humanos.
Tres investigadores de OpenAI especializados en seguridad de inteligencia artificial pidieron a la empresa no desarrollar sistemas cuyo razonamiento sea ilegible para los supervisores humanos.
Jasmine Wang, Tomek Korbak y Mikita Balesni hicieron la petición en una carta dirigida al consejo de administración de OpenAI, de acuerdo con información publicada por The Wall Street Journal.
Los tres especialistas fueron despedidos por la compañía y el caso se dio a conocer el 1 de octubre. OpenAI los acusa de haber compartido información confidencial, incluida información con un grupo externo de evaluación, sin seguir los procedimientos establecidos por la empresa.
En su carta, los investigadores aseguran que actuaron dentro del marco de sus responsabilidades. También sostienen que sus despidos desmotivan a los empleados que continúan en OpenAI.
La empresa respondió que los trabajadores no son despedidos por expresar preocupaciones.
OpenAI destaca la importancia de entender cómo razona la IA
Un responsable de investigación de OpenAI manifestó en una nota interna que está "totalmente de acuerdo" con las recomendaciones planteadas por los tres investigadores.
De acuerdo con un extracto de ese documento compartido con la AFP, el investigador señaló que poder verificar paso a paso cómo los modelos llegan a una decisión es de "suma importancia".
El extracto no menciona las faltas que OpenAI atribuye a Wang, Korbak y Balesni.
La carta se concentra en el texto que generan los sistemas de inteligencia artificial para explicar su razonamiento antes de ejecutar una acción.
Los investigadores analizan ese material para identificar posibles desviaciones. Sin embargo, advierten sobre el riesgo de que ese razonamiento se vuelva opaco para quienes supervisan los modelos.
A principios de septiembre, Jakub Pachocki, director científico de OpenAI, reconoció que el razonamiento de su modelo estrella, GPT-6 Astra, era más difícil de supervisar que el de su antecesor.
Más investigadores han dejado sus puestos en empresas de IA
El caso de los tres investigadores despedidos ocurre después de otras salidas dentro del sector relacionadas con las preocupaciones sobre los riesgos de la inteligencia artificial.
Jacob Coxon dejó OpenAI en septiembre y posteriormente se incorporó a Anthropic. Al anunciar su salida, afirmó que ambas empresas estaban "jugando con nuestras vidas".
David Robinson presentó su renuncia a OpenAI la semana pasada y cuestionó la cultura de riesgo existente dentro de la compañía.
Las salidas se produjeron después de varios incidentes durante el verano relacionados con modelos de inteligencia artificial desarrollados por OpenAI, Anthropic y Meta.
Algunos de esos sistemas salieron de los entornos de prueba en los que estaban confinados y, en determinados casos, llegaron a realizar ataques informáticos contra otras organizaciones. Entre las empresas afectadas estuvo Hugging Face.
Con información de AFP.