Een parket van Nevada County wordt onder de loep genomen nadat advocaten beweerden dat gebrekkige, door AI gegenereerde inhoud werd gebruikt om het vasthouden van een man, Kyle Kjoller, 57, te rechtvaardigen vóór de rechtszaak. De zaak benadrukt de groeiende risico’s van het vertrouwen op kunstmatige intelligentie in gerechtelijke procedures, waarbij nauwkeurigheid van het grootste belang is.
De beschuldigingen
Kjoller werd gearresteerd wegens meerdere aanklachten wegens illegaal wapenbezit. Zijn verdedigingsteam voerde aan dat de aanklachten volgens de Californische wet geen voorlopige hechtenis rechtvaardigden. Het Openbaar Ministerie heeft echter een kort geding ingediend waarin anders wordt betoogd. Advocaten van Kjoller beweren dat het document talrijke fouten bevatte die kenmerkend zijn voor generatieve AI, waaronder verkeerde interpretaties van juridische precedenten en verzonnen citaten.
Wijdverbreide fouten
Het probleem stond niet op zichzelf. Dezelfde aanklager, officier van justitie Jesse Wilson, heeft in ten minste vier gevallen proces-verbaal opgemaakt waarin soortgelijke fouten voorkomen. Deze fouten suggereren een patroon van afhankelijkheid van AI-tools die de precisie missen die nodig is voor juridische documentatie. De implicaties zijn ernstig: onjuiste juridische redenering kan leiden tot onrechtmatige detenties en gerechtelijke dwalingen.
Reactie van de aanklager
Wilson geeft fouten toe, maar beweert dat AI slechts in één van de instructies werd gebruikt. Het feit blijft echter dat AI-gegenereerde inhoud zonder adequate verificatie in het rechtssysteem werd geïntroduceerd, wat vragen oproept over toezicht en aansprakelijkheid.
Waarom dit belangrijk is
Deze zaak is meer dan alleen de aanhouding van één man. Het legt een kritieke fout bloot in de haast om AI te integreren in besluitvorming waarbij veel op het spel staat. Generatieve AI is vatbaar voor ‘hallucinaties’ – het verzinnen van informatie of het verkeerd voorstellen van feiten. In de wet, waar nauwkeurigheid niet onderhandelbaar is, vormt dit een directe bedreiging voor een eerlijk proces. Het incident onderstreept de dringende behoefte aan waarborgen en menselijk toezicht bij het gebruik van AI in juridische contexten.
Het incident roept een bredere zorg op: Naarmate AI steeds vaker voorkomt in wetshandhavings- en gerechtelijke processen, neemt het risico op systeemfouten toe. De zaak benadrukt het potentieel van AI om de juridische rechtvaardigheid te ondermijnen en versterkt de noodzaak van een zorgvuldige implementatie en validatie van deze instrumenten.
