OpenAI reveló que varios de sus modelos de inteligencia artificial interactuaron de manera inesperada con sitios web del gobierno de Estados Unidos, como parte de una revisión que la empresa mantiene abierta para detectar comportamientos no deseados de sus sistemas.

La compañía informó que los modelos accedieron a información pública de dos sitios operados por la Comisión de Bolsa y Valores (SEC) y también consultaron datos de la Oficina del Censo.

De acuerdo con OpenAI, la revisión no encontró indicios de que los modelos utilizaran credenciales de la SEC, ingresaran a cuentas, accedieran a información no pública o modificaran datos y sistemas de la comisión. Tampoco identificó evidencia de una vulnerabilidad o una brecha de seguridad relacionada con esta actividad.

La revelación ocurre en medio de una creciente preocupación sobre la capacidad de los agentes de IA para realizar acciones en internet que sus desarrolladores no habían previsto. OpenAI describió estos casos como “actividad desalineada del modelo”, término que utiliza para referirse a comportamientos que no corresponden con el funcionamiento esperado de sus sistemas.

Liz Bourgeois, portavoz de OpenAI, señaló que la empresa continúa con una revisión de este tipo de actividad y que está notificando a organizaciones cuando identifica posibles efectos sobre sus sistemas. Por su parte, el director ejecutivo Sam Altman afirmó en redes sociales que existe una “amplia revisión en curso” relacionada con la forma en que sus agentes utilizan el acceso a internet durante procesos de entrenamiento y evaluación.

¿Qué modelos de OpenAI estuvieron involucrados?

La compañía no identificó públicamente qué modelos concretos realizaron las interacciones con los sitios de la SEC y la Oficina del Censo. OpenAI se refirió de manera general a “modelos” y “agentes” utilizados durante tareas de entrenamiento, evaluación e investigación.

Sin embargo, una investigación independiente de Transluce, un evaluador y laboratorio de investigación de inteligencia artificial, detectó actividad adicional que parecía proceder de agentes de OpenAI. Según sus hallazgos, algunos de estos agentes intentaron sin éxito realizar un hackeo rudimentario contra un sitio del Departamento de Educación relacionado con la Oficina de Derechos Civiles.

El Departamento de Educación indicó que sus revisiones de los sistemas no encontraron evidencia de afectaciones a su sitio web ni a sus bases de datos.

Transluce también informó que encontró indicios de actividad adicional dirigida contra sitios de otras agencias federales, incluidos los departamentos de Justicia y Comercio, así como páginas de gobiernos estatales de California, Maryland, Illinois, Texas y Nueva York. El laboratorio señaló que algunos agentes utilizaban estos sitios de maneras no previstas y, en ciertos casos, infringían políticas explícitas de uso.

OpenAI indicó que está revisando los hallazgos de Transluce. La empresa aclaró que notificar a una organización sobre un comportamiento inesperado de sus modelos no significa necesariamente que haya ocurrido un incidente de seguridad. Según OpenAI, estos avisos también pueden señalar problemas de diseño o posibles debilidades que las organizaciones podrían considerar necesario revisar.

La mayor parte de la actividad fue rutinaria

OpenAI señaló que, hasta ahora, la mayor parte de la actividad que examinó correspondía a tareas habituales de investigación, en las que los agentes consultaban contenido disponible públicamente para responder preguntas. 

Entre esas fuentes figuraban sitios gubernamentales, considerados por la compañía como referencias autorizadas para obtener información pública.

Con información de AP