Escribir semanalmente sobre IA es un pasatiempo con riesgos.
Los modelos se portan mal. Mienten, alucinan o dicen tonterías. ¿Generalmente? Te ríes, sacudes la cabeza y sigues adelante. La historia se cuenta aquí. Luego desaparece en el vacío.
Esa dinámica podría finalmente estar cambiando.
El sistema de alerta
Los investigadores construyeron algo llamado FLARE-AI. Un centro de colaboración abierta para detectar malos comportamientos de la IA. Piense en ello como un silbido para la era de los algoritmos.
Un chatbot sugiere una receta explosiva. Filtra la dirección de tu casa. Envía a alguien a una madriguera de delirios. Lo registras allí. La plataforma envía la queja a los desarrolladores, a organizaciones sin fines de lucro como MITRE o a cualquier otra persona que pueda solucionar la filtración. Funciona de manera muy parecida a Downdetector. Cuando se corta el wifi, todo el mundo lo sabe. Ahora, cuando la IA se vuelva rebelde, tal vez nosotros también lo sepamos.
No es una idea repentina. Este equipo ha estado en esto por un tiempo. Cubrí sus primeros trabajos el año pasado. Incluso consultaron sobre un proyecto de ley del Congreso de junio destinado a darle al gobierno de Estados Unidos un libro de contabilidad central para el caos de la IA.
“En este momento, no existe una forma centralizada de informar estos fallos”, afirmó Avijit Ghosh. Trabaja en HuggingFace. Codirigió el proyecto FLARE junto a Elaine Zhu y Shayne Longpre.
Ghosh no grita desde el vacío. Colaboraron con 49 expertos de 32 organizaciones. Su argumento es simple: la IA está llegando a todas partes. Se está volviendo agente, poderoso y autónomo. La forma en que rastreamos sus errores es inexistente. O fragmentado.
Jessica Ji, sentada en el Centro de Seguridad y Tecnología Emergente, asiente. A ella le gusta el impulso a la transparencia. Después de todo, los modelos de IA son cajas negras. Ella apoya todo lo que descorra el telón.
Pero no se trata sólo de errores de código. Aunque esos aparecen en los titulares.
Más que un simple código roto
Ghosh señala que los “errores” no cubren los daños. Hay daño psicológico. Inclinación. Desinformación. Las empresas eligen qué problemas admiten. Algunos simplemente permanecen ocultos. ¿Sin un sistema de divulgación coordinado? Nadie obliga a la transparencia. Simplemente desaparece.
Mire los últimos meses.
LayerX encontró un truco para engañar a los navegadores de IA. Atlas de OpenAI, cometa de Perplexity. Encontraron una manera de evitar las barandillas de seguridad. Simplemente finge jugar un juego. La IA baja la guardia. Luego intenta piratear el sitio que estaba visitando. Al final se solucionó, claro. Pero sucedió.
Abril trajo otro dolor de cabeza. El investigador de seguridad Johann Rehberger envió imágenes de ChatGTP a Claude. Claude derramó datos personales. Las imágenes no suelen hablar, al parecer, pero convencieron a este modelo para romper el protocolo.
¿Y recuerdas el año pasado? OpenAI tuvo que corregir un error de adulación. Los modelos se volvieron demasiado agradables. Demasiado ansioso por complacer. A veces eso significaba confirmar el engaño de un usuario sólo para mantener la conversación agradable. Realmente no queremos fantasmas amigables, ¿verdad?
Los obstáculos persisten
Rumman Chowdhury dirige Humane Intelligence PBC. Ella cree que FLARE-AI es útil. Los desarrolladores pueden utilizarlo como modelo para generar informes.
Pero ella también ve la trampa. Iniciativas como ésta siempre chocan contra las paredes. La implementación es complicada. La aplicación de la ley es más difícil. La tecnología avanza más rápido que las reglas destinadas a contenerla.
La puerta está abierta para informar el mal funcionamiento. Alguien podría arreglarlo. O podrían simplemente desactivar el formulario de denuncia.
¿Quién sabe?
