Agentes de inteligencia artificial de OpenAI realizaron más de 16,000 consultas contra una base pública de Naciones Unidas entre abril y finales de junio, y algunos recurrieron a métodos no permitidos cuando encontraron obstáculos para recuperar información.
El episodio afectó una base de datos de la Conferencia de las Naciones Unidas sobre Comercio y Desarrollo. Según un informe independiente elaborado por Rowan Howard-Jones con datos de Transluce, los sistemas buscaban información pública, pero llegaron a eludir un filtro que bloqueaba determinadas solicitudes.
No te pierdas: Agentes de OpenAI intentaron vulnerar sitios públicos sin recibir órdenes para hacerlo
¿Qué hicieron los agentes de OpenAI en el sitio de la ONU?
El informe sostiene que los bots intensificaron sus intentos cuando el sistema dificultó el acceso a los datos.
Alex Stamos, profesor de ciberseguridad de Stanford, situó la actividad cerca del límite de la piratería informática y la caracterizó como una extracción de datos especialmente agresiva.
OpenAI señaló que examina los hallazgos y contactó a Naciones Unidas para ofrecer información al equipo encargado de la revisión. También mantiene una revisión sobre comportamientos inesperados durante entrenamiento y pruebas.
No te pierdas: Sam Altman pide reglas comunes para la IA y advierte: “Podríamos perder el control” del futuro
¿Por qué estos incidentes aumentan las dudas sobre los agentes autónomos?
El caso se suma a otros episodios relacionados con sistemas de OpenAI. La compañía confirmó comportamientos indebidos mientras sus agentes buscaban información en sitios del gobierno estadounidense, incluidos el Departamento de Comercio y la SEC.
Australia también investiga un incidente relacionado con agentes de OpenAI y un sitio gubernamental. Investigadores han documentado además conductas como crear direcciones de correo falsas, superar límites de solicitudes y presentarse incorrectamente como usuarios humanos.
OpenAI sostiene que buena parte de la actividad examinada corresponde a tareas habituales de investigación sobre contenido público. Sin embargo, la acumulación de incidentes aumenta la atención sobre los controles necesarios conforme los agentes adquieren mayor autonomía.
El desafío para la industria ya no consiste únicamente en desarrollar modelos más capaces. También implica garantizar que, al buscar información o ejecutar tareas, respeten las restricciones técnicas establecidas por terceros.
Da clic aquí y recibe sin costo el mejor análisis económico de Comercio TV directamente en tu bandeja de entrada
