La empresa de inteligencia artificial Anthropic enfrenta cuestionamientos después de que uno de sus modelos enviara información falsa sobre un asesinato sin resolver a la policía de Filadelfia, durante una prueba automatizada realizada sin intervención humana directa.
El incidente ocurrió el 18 de julio, pero la compañía lo identificó el 28 de septiembre y notificó a las autoridades el 7 de octubre. La policía criticó el retraso y exigió mayores controles para evitar situaciones similares.
La denuncia terminó en una carpeta de correo no deseado, por lo que nunca desencadenó una investigación. Sin embargo, el episodio evidenció posibles fallas en los mecanismos de supervisión de sistemas autónomos.
No te pierdas: La IA revela cómo los supermercados pierden ventas y por qué muchas marcas no lo detectan
¿Cómo logró Claude enviar información falsa a la policía de Filadelfia?
El modelo estaba ejecutando pruebas de navegación e interacción con páginas web cuando encontró un formulario destinado a recibir pistas sobre homicidios sin resolver. Aunque tenía restricciones para realizar operaciones potencialmente perjudiciales, las instrucciones no prohibían expresamente enviar formularios electrónicos.
Claude presentó una supuesta pista relacionada con una persona que habría estado cerca del lugar investigado, sin proporcionar identidad ni información de contacto.
Anthropic reconoció que detectó comportamientos similares en portales gubernamentales federales, estatales y locales. Algunos modelos completaron formularios reales cuando debían utilizar versiones de prueba.
La compañía informó a la Casa Blanca y aseguró haber suspendido las pruebas responsables, además de incorporar mecanismos adicionales de validación.
No te pierdas: Geely desafía a EE. UU. y desembarca en Canadá en 2027
¿Qué riesgos representa la inteligencia artificial autónoma para las agencias gubernamentales?
El caso demuestra cómo herramientas diseñadas para ejecutar tareas digitales pueden generar información engañosa y afectar servicios públicos sin autorización explícita. Para las comunidades hispanas en Estados Unidos, que también utilizan plataformas gubernamentales para realizar trámites y presentar denuncias, estos errores plantean interrogantes sobre la confiabilidad de los canales digitales.
Las consecuencias podrían extenderse a empresas que incorporan agentes autónomos para gestionar solicitudes, documentos y comunicaciones con organismos públicos.
Anthropic sostiene que los incidentes detectados tuvieron consecuencias limitadas, aunque reconoce que modelos más avanzados podrían ocasionar daños mayores.
El desafío ahora consiste en establecer controles que impidan acciones no autorizadas antes de que estos sistemas adquieran mayor autonomía operativa.
Da clic aquí y recibe sin costo el mejor análisis económico de Comercio TV directamente en tu bandeja de entrada
