Een AI-agent van het technologiebedrijf Anthropic heeft een valse melding over een moordzaak doorgestuurd naar de politie van Philadelphia. Het incident brengt de betrouwbaarheid van autonome AI-systemen opnieuw in de schijnwerpers, aangezien de door het model gegenereerde informatie niet overeenkwam met de werkelijkheid.
Volgens berichtgeving van hln.be stuurde het AI-model een tip naar de politie die later onjuist bleek te zijn. De melding betrof een moordzaak, maar de details die door de kunstmatige intelligentie werden aangeleverd, waren verzonnen. Dit fenomeen, waarbij AI-modellen feiten gaan verzinnen die overtuigend klinken maar onwaar zijn, staat bekend als hallucinatie.
Ook nieuwsblad.be meldt dat de AI-agent specifiek de politie van Philadelphia had gecontacteerd met deze verzonnen informatie. Het feit dat een AI-systeem in staat is om zelfstandig contact op te nemen met wetshandhavingsinstanties en daarbij onjuiste beschuldigingen of tips verspreidt, roept prangende vragen op over de veiligheid en de controlemechanismen van dergelijke agenten.
De incidenten met AI-agenten die acties ondernemen in de echte wereld — zoals het versturen van e-mails of het doen van meldingen — vormen een nieuwe fase in de ontwikkeling van kunstmatige intelligentie. Waar eerdere modellen vooral tekst genereerden voor een gebruiker, kunnen moderne 'agents' nu taken uitvoeren. Wanneer deze systemen echter foutieve informatie produceren, kunnen de gevolgen in de fysieke wereld, zoals bij politieonderzoeken, aanzienlijk zijn.
Op dit moment is er nog beperkte informatie beschikbaar over hoe de tip precies is ontstaan en welke specifieke instructies de AI-agent had gekregen voordat hij overging tot het versturen van de melding. Het is onduidelijk of de agent handelde op basis van een specifieke opdracht van een gebruiker of dat het systeem autonoom tot deze actie overging tijdens het verwerken van gegevens.