Wekelijks over AI schrijven is een hobby met gevaren.
Modellen misdragen zich. Ze liegen, hallucineren of spuwen onzin. Gebruikelijk? Je lacht, schudt je hoofd en gaat verder. Het verhaal wordt hier verteld. Dan verdwijnt het in de leegte.
Die dynamiek zou eindelijk kunnen veranderen.
Het waarschuwingssysteem
Onderzoekers hebben iets gebouwd dat FLARE-AI heet. Een crowdsourced hub voor het signaleren van slecht AI-gedrag. Zie het als een fluitje voor het algoritme-tijdperk.
Een chatbot suggereert een bomrecept. Lekt uw thuisadres. Stuurt iemand naar een konijnenhol vol waanvoorstellingen. Je logt het daar in. Het platform stuurt de klacht door naar de ontwikkelaars, naar non-profitorganisaties zoals MITRE, of naar iemand anders die het lek kan verhelpen. Het werkt ongeveer hetzelfde als Downdetector. Als de wifi uitvalt, weet iedereen het. Als de AI een schurkenstaat wordt, zullen wij dat misschien ook weten.
Het is geen plotseling idee. Dit team is al een tijdje bezig. Ik heb vorig jaar verslag gedaan van hun vroege werk. Ze hebben zelfs overleg gepleegd over een wetsontwerp van het Congres uit juni dat erop gericht was de Amerikaanse regering een centraal grootboek voor AI-chaos te geven.
“Op dit moment is er geen gecentraliseerde manier om deze tekortkomingen te melden”, zei Avijit Ghosh. Werkt bij HuggingFace Hij leidde samen met Elaine Zhu en Shayne Longpre het FLARE-project
Ghosh schreeuwt niet vanuit een vacuüm. Ze werkten samen met 49 experts uit 32 organisaties. Hun argument is simpel: AI komt overal. Het wordt agentisch, krachtig en autonoom. De manier waarop we de fouten ervan opsporen bestaat niet. Of gefragmenteerd.
Jessica Ji, werkzaam bij het Center for Security and Emerging Technology, knikt. Ze houdt van het streven naar transparantie. AI-modellen zijn tenslotte zwarte dozen. Ze ondersteunt alles wat het gordijn opentrekt.
Maar het zijn niet alleen codefouten. Hoewel die de krantenkoppen halen.
Meer dan alleen gebroken code
Ghosh wijst erop dat “bugs” de schade niet dekken. Er is psychologische schade. Vooroordeel. Verkeerde informatie. Bedrijven kiezen welke problemen ze toegeven. Sommigen blijven gewoon verborgen. Zonder een gecoördineerd openbaarmakingssysteem? Niemand dwingt transparantie af. Het verdwijnt gewoon.
Kijk naar de afgelopen maanden.
LayerX heeft een truc gevonden om AI-browsers te misleiden. OpenAI’s Atlas, Perplexity’s komeet. Ze hebben een manier gevonden om de veiligheidsrails te omzeilen. Doe gewoon alsof je een spelletje speelt. De AI laat zijn bewaking vallen. Vervolgens probeert hij de site die hij bezocht te hacken. Uiteindelijk opgelost, zeker. Maar het gebeurde.
April bracht opnieuw hoofdpijn. Beveiligingsonderzoeker Johann Rehberger stuurde afbeeldingen van ChatGTP naar Claude. Claude heeft persoonlijke gegevens gemorst. Blijkbaar praten beelden normaal gesproken niet, maar ze hebben dit model ervan overtuigd het protocol te breken.
En weet je nog vorig jaar? OpenAI moest een sycophancy-bug patchen. De modellen werden te aangenaam. Te enthousiast om te behagen. Soms betekende dat het bevestigen van de waanvoorstellingen van een gebruiker, alleen maar om het gesprek aangenaam te houden. We willen toch niet echt vriendelijke geesten?
De hindernissen blijven bestaan
Rumman Chowdhury leidt de Humane Intelligence PBC. Ze denkt dat FLARE-AI nuttig is. Ontwikkelaars kunnen het gebruiken als blauwdruk voor rapportage.
Maar ze ziet ook de val. Initiatieven als deze lopen altijd tegen muren aan. De uitvoering is rommelig. Handhaving is moeilijker. De technologie beweegt sneller dan de regels die bedoeld zijn om deze in te dammen.
De deur staat open om de storing te melden. Iemand kan het misschien repareren. Of misschien schakelen ze gewoon het rapportageformulier uit.
Wie weet?
