OpenAI pausa desarrollo de su modelo de IA Astra por riesgo crítico de ciberseguridad
OpenAI pausa parte del desarrollo de Astra tras detectar un posible nivel crítico de ciberseguridad en sus evaluaciones internas.
OpenAI tomó la decisión de frenar parte del desarrollo de su nuevo modelo de inteligencia artificial Astra debido a que, según evaluaciones internas, éste podría alcanzar un “nivel crítico” de ciberseguridad.
Astra, presentado formalmente hace poco más de una semana, es un modelo de inteligencia artificial enfocado en resolver problemas matemáticos complejos y de ciencias de la computación teórica y, de acuerdo con los resultados de las primeras pruebas internas, logró encontrar soluciones a cuestiones que permanecían sin resolver dentro de estos campos.
Esto último causó tanto revuelo como escepticismo entre los especialistas, ya que algunos creyeron que podría ser un paso más consistente hacia la inteligencia artificial general y otros que tiene un buen programa de marketing.
El investigador Gary Marcus aceptó que Astra parece ser excelente en algunas ramas de las matemáticas, pero eso no significa que evitará las alucinaciones ni que resolverá los problemas de fiabilidad que presentan otros sistemas.
Es muy impresionante, pero no veo ninguna razón para pensar que Astra sea inteligencia artificial general y mucho menos inteligencia artificial superior”, afirmó en su blog.
Ante la expectativa que causó y el reciente incidente de modelos de OpenAI vulnerando a Hugging Face, en lo cual Astra no estuvo involucrado, la tecnológica realizó un análisis más exhaustivo y descubrió que se ubica en el nivel crítico de su Marco de Preparación.
Los modelos anteriores, incluido GPT-5.6-Sol, también fueron evaluados con dicho marco y clasificaron en el umbral Alto, no en crítico. Por lo anterior, la empresa en manos de Sam Altman tomó varias medidas y la primera fue pausar las actividades internas relacionadas con Astra que aún no cumplen con estos requisitos reforzados de control de seguridad.
Estamos implementando controles de seguridad más estrictos para los modelos de mayor capacidad y las actividades asociadas, incluyendo entornos de prueba aislados, acceso restringido a la red y a las herramientas, protección mejorada del peso del modelo y cifrado, capacidades adicionales de monitorización y detección, y ejecución en entornos aislados”, agregó la tecnológica.
Sin olvidar que ha implementado un monitorio universal para detectar acciones de riesgo y desalineaciones en todas las aplicaciones de Astra, incluyendo el entrenamiento y la evaluación.
OpenAI también se comprometió a colaborar con las agencias gubernamentales pertinentes y organizaciones selectas de seguridad de inteligencia artificial para probar las capacidades de este modelo.