Kan de computer misdaad voorspellen? Binnenkort gebruikt de Nederlandse Politie een algoritme om te bepalen waar de kans op een inbraak of overval het grootst is. De politietop is enthousiast, maar experts zetten vraagtekens bij de effectiviteit.
Onderstaand artikel is eerder gepubliceerd in De Ingenieur, tekst van Marc Seijlhouwer.?
Een schimmig zijstraatje in Amsterdam. Hier is het risico op een inbraak het grootst in de hele stad, zo weet de politie. Daarom houden agenten de straat deze avond extra in de gaten. Statistisch gezien is de kans immers aanzienlijk dat hier straks een roof,
inbraak of autokraak gaat plaatsvinden.
De agenten weten dat niet vanwege hun jarenlange ervaring met criminelen en de stad. Nee, een computer heeft hen verteld hoe het allemaal zit. Een algoritme, om precies te zijn, met de naam CAS. Dit Criminaliteits Anticipatie Systeem voorspelt voor elk gebied van 125 bij 125 m hoe groot de kans is dat er iets gebeurt in de komende twee weken. Dit alles op basis van tientallen informatiebronnen: het aantal inbraken of overvallen, de samenstelling van de bevolking aan de hand van CBS-cijfers, de adressen van veelplegers in een buurt en de geografische eigenschappen van een wijk, zoals de afstand tot een snelwegoprit die als makkelijke vluchtroute kan dienen.
Al die gegevensstromen zijn in drie jaar tijd tweewekelijks verzameld en in een zelflerend algoritme gestopt. Het programma ontwaarde patronen in deze informatie en kon op die manier een overzichtelijke kaart maken: risicovakjes zijn rood, andere oranje of geel. Een commandant ziet in ??n oogopslag waar de politie het meest nodig is en kan daar zijn surveillancerooster op baseren.
In theorie werkt CAS voorbeeldig. De voorspellingen zijn nauwkeurig en de agenten kunnen op de kaarten makkelijk zien waar ze heen moeten. Maar de praktijk blijkt weerbarstig. Toch springt de politie, in zijn zoektocht naar hulpmiddelen om effici?nter te werken, er fanatiek op. Is dat verantwoord? En wat zijn de gevolgen voor de maatschappij?
Tachtig datastromen
In mei maakte de Nationale Politie bekend CAS te gaan gebruiken bij 168 politieteams. Daarmee is Nederland het eerste land dat landelijk predictive policing (voorspellend politiewerk) toepast. De boodschap kwam na pilot-programma?s in Amsterdam en vier andere gemeentes (Enschede, Groningen-Noord, Hoefkade en Hoorn). Volgens de politie verliepen deze pilots dus succesvol genoeg om het systeem in te voeren. CAS lijkt inderdaad een handig gereedschap voor de drukke roostermakers die met een beperkte hoeveelheid agenten toch zoveel mogelijk misdaad willen voorkomen. Voordat CAS bestond, gebeurde dat goeddeels op basis van ervaring, rapportages van politieanalisten en het gevoel van de agenten. Subjectieve maatstaven dus. CAS, of breder: voorspellend politiewerk, geeft een schijnbaar objectiever advies. Het is immers gebaseerd op harde cijfers.
Predictive policing begon in 2009 in Los Angeles, toen antropoloog dr. Jeffrey Brantingham als eerste een manier bedacht om data te gebruiken om criminaliteit terug te dringen. Hij ontwierp een simpel algoritme waarin drie datastromen ? het soort misdrijf, de misdrijflocatie en het misdrijfmoment ? samenkwamen en een heat map van de Californische superstad opleverden. Die kaart leek al snel een goede voorspelling te geven en de misdaadcijfers daalden mede dankzij het gebruik van PredPol. Predictive policing was een hit. Bij de Nederlandse Politie ontwierp vervolgens dataminer drs. Dick Willems CAS. Dat was qua opzet een stuk ambitieuzer: niet drie, maar tachtig datastromen gingen in eenzelfde soort algoritme. ?Het is begrijpelijk dat de politieagenten hier snel op springen?, stelt ir. Arnout de Vries, sociaal onderzoeker bij onderzoeksorganisatie TNO. Hij kijkt al een aantal jaar naar de mogelijkheden en risico?s van predictive policing. ?Het geeft houvast bij een onzekere kant van het?werk. En het kan volgens onderzoeken in theorie enorm helpen.? Volgens CAS-ontwerper Willems, die een artikel over ?zijn? algoritme schreef in het Tijdschrift voor de Politie, kan 40 % van de inbraken en 60 % van de straatroven worden voorspeld. Dat betekent dat dergelijke misdrijven plaatsvonden in of nabij de voorspelde hokjes op de CAS-kaarten. Als al die misdrijven daarmee ook voorkomen kunnen worden, is dat natuurlijk enorme winst voor de veiligheid in de buurt.
Voorbeeld van een heat map. Vierkantjes van 125 bij 125 m krijgen een kleur, afhankelijk van de kans dat er een inbraak of roof plaatsvindt. Vervolgens kan de politie bijvoorbeeld meer surveilleren of een extra lantaarnpaal laten plaatsen om het risico te verkleinen.
Meer is niet beter
Toch is predictive policing niet alleen maar rozengeur en maneschijn. De eerste onderzoeken naar het gebruik van CAS, gedaan nadat de pilot ten einde kwam, laten zien dat het effect beperkt is. Dat wil zeggen: de pakkans bij inbraken en roof is vergroot, maar het is moeilijk om te bepalen of dat door CAS komt of doordat er meer agenten zijn ingezet om dergelijke misdrijven aan te pakken. Dat laatste gebeurde de afgelopen jaren namelijk ook, vanwege een wens uit de politiek.
Een onderzoek van de Politieacademie liet verder zien dat de interpretatie van de CAS-kaart problemen oplevert. ?De interpretatie van de kaart ging regelmatig mis, doordat de mensen die dat moeten doen te weinig kennis hebben?, vertelt dr.ir. Marielle den Hengst-Bruggeling, voormalig lector bij de Politieacademie, auteur van het rapport over CAS en universitair docent aan de TU Delft. Het onderzoek laat zien hoe ingewikkeld data-interpretatie kan zijn. ?Als agenten daar niet voor hebben geleerd, kan het effect van een algoritme kleiner zijn. We ontdekten dat de voorspellingen van CAS goed en betrouwbaar waren. Maar het omzetten van een voorspelling in een actie bleek lastig.? Daarnaast waren de reacties op de kaarten vanuit de politieleiding niet altijd adequaat. ?De meest voorkomende reactie was ?meer agenten inzetten op een plek?. Maar dat is lang niet altijd de beste optie. Als er een lantaarnpaal stuk is, werkt een monteur sturen beter om de locatie veiliger te maken.? Het academieonderzoek was voornamelijk kwalitatief; Den Hengst-Bruggeling en collega?s spraken met agenten en leidinggevenden en met de makers van CAS. Zo ontdekten ze wat er goed ging en wat niet. ?Maar harde cijfers hebben we niet, want het is lastig te onderzoeken.?
Bij PredPol lijken de resultaten wel hoopgevend. Bedenker Brantingham deed een onderzoek naar zijn eigen systeem, waarbij hij wijken die m?t PredPol waren geanalyseerd vergeleek met soortgelijke wijken (qua misdaadcijfers) zonder PredPol. En daaruit bleek dat PredPol werkt: het is twee keer zo goed in het voorspellen van misdrijflocaties als ervaren misdaadanalisten en het vermindert de hoeveelheid criminaliteit met 7 procent.
Dat zijn opmerkelijke cijfers, die echter ook meteen controversieel werden. Brantinghams onderzoeksmethodologie rammelde; de criteria?voor misdaaddaling waren bijvoorbeeld nogal los en het was niet altijd duidelijk of een daling aan de voorspellingen van PredPol lag of aan andere zaken.
Een onafhankelijk onderzoek naar PredPol of andere in de praktijk gebruikte voorspellingssystemen is er niet. Het dichtst in de buurt komt een Amerikaans onderzoek van de denktank The?RAND Corporation. Die paste een zelfontworpen model toe op het stadje Shreveport in Louisiana en vond niet significant minder misdaad dan in controlewijken. RAND ontkrachtte ook claims van de stad Chicago. Die stad gebruikte een ?voorspellingslijst? van mensen die vermoedelijk binnenkort een misdaad zouden begaan. Volgens Chicago had die lijst effect, RAND ontdekte dat dit effect niet significant was.
Of het systeem in Nederland werkt, is nog moeilijker te zeggen; gedegen statistisch onderzoek naar het effect begint nu langzaam te komen, maar is nog lang niet voltooid. De Vries van TNO: ?We werken voor de evaluatie van CAS aan een kwantitatieve analyse die ons wat meer houvast geeft. Het onderzoek in Nederland is tot nu toe voornamelijk kwalitatief.?
Overigens bleek ook uit die kwalitatieve analyse van de Politieacademie geen significant verschil tussen criminaliteit zonder CAS en met. Bij het Nederlandse onderzoek vergeleek men de cijfers van een jaar voordat CAS begon met het jaar met CAS. ?Vergelijken blijft lastig, maar onze bevindingen geven wel een indicatie dat het ergens mis gaat met de voorspellingen?, zegt Den Hengst-Bruggeling. ?We weten dat de voorspelling zelf goed is, dus moet het probleem in de opvolging zitten.?
En ook als we over de bezwaren tegen het positieve onderzoek van Brantingham heen stappen, is dat moeilijk als bewijs voor de effectiviteit van CAS te zien. PredPol is ingezet in de Verenigde Staten, waar de cultuur en manier van werken van de politie totaal anders zijn. Bovendien verschillen de algoritmes behoorlijk. Vooral de veel grotere hoeveelheid datastromen in CAS valt op. ?Misschien zou je denken dat meer data altijd een betere voorspelling oplevert. Maar dat hoeft niet?, zegt de Vries. ?Zoveel data kan de voorspelling ook minder duidelijk maken, of kan ervoor zorgen dat er te veel aandacht wordt gegeven aan de verkeerde data. Meer is niet altijd beter.?
Big Brother Award
De Wetenschappelijke Raad voor Regeringsbeleid kwam vorig jaar met een rapport dat waarschuwde voor de gevolgen van big data in overheidsbeleid. Predictive policing valt daar ook onder en moet volgens de raad dus uiterst voorzichtig worden uitgerold.
Internetprivacyorganisatie Bits of Freedom is ook kritisch over het gedrag van de politie; in 2015 gaf die de politie de Big Brother Award voor grootschalige privacyschending via een hun dataverzameling en -gebruik. Voorlopig is de data van de politie echter niet te gebruiken om individueel gedrag te detecteren. Dat lijkt men ook niet van plan, maar de mogelijkheid bestaat wel als systemen zoals CAS eenmaal gemeengoed zijn.
Zo objectief mogelijk
PredPol liet tijdens het gebruik ook al een risico zien van dit soort data-analyse. In achterbuurten werden vaker misdaden gepleegd, dus focuste het algoritme zich volledig op die buurten. Daardoor ging er meer politie heen, werd er meer misdaad ontdekt, enzovoort. Aangezien in de achterbuurten relatief veel Afro-Amerikanen woonden, zorgde het algoritme in feite voor een raciale ?bias? bij de politiemacht, ook al was etniciteit geen onderdeel van het model. De politie ging immers vaker naar die wijken en arresteerde daardoor vaker Afro-Amerikanen.
Dat probleem zou hier mogelijk nog groter kunnen zijn dan in de VS. Daar werkt het algoritme puur op criminaliteitscijfers, terwijl CAS onder andere CBS-gegevens over inwoners gebruikt, wat de kans op onbedoelde raciale profilering nog groter maakt.
Maar hoe voorkom je dat dan? De Vries: ?Het is lastig, want dit soort vooroordelen zijn niet geprogrammeerd; ze ontstaan uit de statistische regels van het programma. Dat maakt ze niet waar; de tunnelvisie is een soort glitch in de statistiek. Dat kun je voorkomen door ruis in de data te gooien. Normaal vertroebelt dat de analyse, maar met een beetje ruis kun je het algoritme uit zijn tunnelvisie halen en op een ander pad zetten. Zo maak je vooroordelen minder waarschijnlijk.?
Ook moet je kritisch kijken naar de criteria waarmee je een wijk bestempeld als ?risicovol?, zegt De Vries. ?Zit daar iets in dat te maken heeft met vooroordelen? Dat moet je als ontwerper weten voordat je je algoritme gaat gebruiken.?
Daarnaast proberen de ontwerpers van de algoritmes een zo objectief mogelijke maatstaf te nemen. Dat is doorgaans de aangifte die een slachtoffer doet. Die is niet gebaseerd op de aanwezigheid van politie in de wijk en geeft zodoende een eerlijker beeld van de hoeveelheid misdrijven dan een steeds terugkerende agent. Mede door die maatstaf is predictive policing op dit moment alleen te gebruiken voor zogenoemde high impact crimes: misdrijven die mensen raken in hun levenssfeer en veiligheidsgevoel. Van dat soort misdrijven doet men namelijk bijna altijd aangifte, dus geven ze een vrij volledig beeld van de hoeveelheid misdaad in een wijk.
Inbreekbereik
Terwijl de politie zich gereedmaakt om CAS in het hele land te gebruiken, zijn er ook al onderzoekers en politieonderdelen die naar de volgende stap kijken. CAS is namelijk beperkt: het zegt alleen waar iets gaat gebeuren, niet wat je ertegen moet ondernemen. Dat is echter wel mogelijk, denkt TNO. Daar werkt data-onderzoeker dr. Selmar Smit samen met de Vries en andere onderzoekers aan iets wat ze prescriptive policing noemen. Doel van dit onderzoek: een algoritme dat aan de hand van data voorschrijft wat een agent het beste kan doen. ?We willen de agenten helpen om een keuze te maken, zonder dat ze de vrijheid verliezen om zelf een interventie te kiezen?, vertelt De Vries. Dus voorspelt het systeem van een aantal ingrepen hoe effectief ze kunnen zijn. Als er een donker straatje is waar veel overvallen plaatsvinden, is een straatlamp of een beveiligingscamera misschien wel de beste oplossing. Zijn er veel inbraken? Dan kan een andere patrouilleroute een wereld van verschil maken. ?Ons systeem berekent het effect van elke interventie en geeft die informatie aan agenten. Zij kiezen vervolgens wat de beste optie is, aan de hand van het systeem en hun ervaring op straat.?
Het klinkt als een simpel systeem, maar dat is het niet. ?Om zo?n voorspellend algoritme te maken, moet je niet alleen veel data hebben, je moet ook het effect van een interventie meenemen in je berekening?, vertelt Smit. ?Als je dat niet doet, voorspel je alleen de situatie in vergelijking met het scenario waarin de politie niets doet. Maar dat is onrealistisch; de politie zal hoe dan ook altijd proberen in te grijpen. Daarom zijn de huidige algoritmes ook niet altijd toepasbaar.? Zo?n recursief algoritme, waarin je de uitkomst van de berekeningen terugvoert aan het algoritme, is niet makkelijk te maken. ?Met alleen criminaliteitscijfers of bevolkingsdata ben je er nog niet. Dus moet er kennis over mensen, in dit geval over het gedrag van criminelen, in het algoritme worden verwerkt.?
Al vier jaar werken Smit en collega?s aan hun prescriptive policing, en het gaat stapje voor stapje vooruit. ?De belangrijkste vooruitgang zit eigenlijk op het menselijke vlak. We spreken veel met experts, ervaren rechercheurs en agenten die ons vertellen hoe criminelen werken. Die kennis, vaak kwalitatief van aard, probeer ik in het algoritme te stoppen.? Als voorbeeld noemt Smit inbreekgedrag: ?Een crimineel zal niet bij zijn buren inbreken, maar?zal ook niet tientallen kilometers rijden op zoek naar een goede kraak. Zijn ?kraakgebied? is dus relatief goed te voorspellen. De politie weet dat, en wij proberen een maximaal bereik vanaf het huis van een inbreker te bepalen voor in het algoritme.?
Op die manier produceert het prescriptive algoritme niet alleen heat maps, maar ook een lijstje met mogelijke acties voor agenten. Bij elke actie staan ??n tot vijf ?ballen? om de voorspelde effectiviteit aan te geven. ?Daarbij komt dan een korte motivatie vanuit het algoritme.
Die motivatie komt vooral van vergelijkingen met andere wijken waar we al iets over weten. Dan staat er bijvoorbeeld: ?Een camera ophangen in een donkere straat werkte erg goed in deze
vergelijkbare wijk in Almere.? Op die manier weet de agent waar de voorspelling vandaan komt.
Hongerig algoritme
Die vergelijkingen zijn voorlopig de kern van het prescriptive-algoritme. Echt de gevolgen van ingrepen simuleren gaat nog te ver, vindt Smit. ?De toekomst simuleren is een vaag onderzoeksgebied. We kunnen op korte termijn misschien wel iets voorspellen, maar het is onmogelijk om langetermijngevolgen te overzien met zo?n simulatie. Met wijkvergelijkingen weet je dat vaak wel, omdat de ?toekomst? van de ene wijk het verleden van een andere, soortgelijke buurt is.?
Wat TNO doet, is volgens De Vries en Smit op dit moment uniek in de wereld. ?Amerika, en Los Angeles in het bijzonder, volgt ons werk met veel interesse?, zegt De Vries.
Het risico van een bevooroordeeld algoritme geldt hier nog steeds. ?Het zou kunnen dat er eerder dan bij predictive policing al vooringenomenheid voor bepaalde wijken of bepaalde wijksoorten ontstaat doordat eerdere reacties van wijkagenten al is meegenomen.? Voorlopig is dat echter lastig na te gaan, want er is nog niet genoeg data om het hongerige algoritme mee te voeden. Om te weten welke interventies effectief zijn in bepaalde situaties, moet een computerprogramma immers weten of het werkte op een andere plek.
Daarom probeert Smit nu agenten te overtuigen om hun data te delen. Met hun telefoon en een gps-logger, bijvoorbeeld, of met een app waarop een agent kort aangeeft wat hij deed en waarom. ?Dat is meer moeite voor de agent, en het kan een vrij grote privacyinbreuk zijn. Hij of zij kan zich beperkt voelen in zijn of haar vrijheid, omdat elke beweging nu wordt gevolgd en opgeslagen. Ik probeer ze ervan te overtuigen dat ze als dataproducent met een gps op zak ook meer vrijheid kunnen krijgen op de lange termijn. Denk bijvoorbeeld aan ?een praatje maken?. Nu is dat voor de leidinggevenden vaak geen actie die als werk ?telt?. Als ons algoritme straks aantoont dat praten juist helpt om lokale criminaliteit te verminderen, krijgt de agent mogelijk meer vrijheid in zijn manier van werken.?
Komende vijf jaar is prescriptive policing nog geen realiteit. Maar met de landelijke invoering lijkt het voorspellend politiewerk van CAS moeilijk tegen te houden. Hoewel ze zelf aan de mogelijke opvolger van CAS werken, kijken ook Smit en De Vries niet alleen positief tegen de techniek aan. ?Het risico van bias is alleen te verminderen als de algoritmes transparant blijven. Daar zal bij elke verdere ontwikkeling op gelet moeten worden?, stelt Smit.
Op dit moment zijn de algoritmes in principe nog helder genoeg; predictive policing gebruikt statistische methodes die patronen uit data ontwaren. Zo ?leert? het programma met analyses die terug te volgen zijn tot de bron. Dat is doorzichtiger dan deep learning, waarbij een computer via verschillende ?lagen? een beslissing neemt. Deze methode zorgt nu al voor onnavolgbare uitkomsten bij verschillende zelflerende programma?s van Google en andere softwarebedrijven. Begrijpelijk dat de overheid en politie daar vandaan blijven.
Ondertussen denken de wetenschappers van TNO dat het essentieel is om de voorspellende techniek te ontwikkelen. ?Je houdt dit niet tegen. En ik geloof dat het beter is dat wij het doen, namens de overheid, dan dat een marktpartij een voorspellend ? maar niet transparant ? algoritme bouwt om daar winst mee te maken?, aldus Smit.
Hackrisico
Een vraag die CAS ook oproept, is: moet je bij iets wat misschien niet werkt wel al die gegevens van burgers willen gebruiken? Den Hengst-Bruggeling nuanceert het gevaar van privacy-inbreuk: ?De gegevens die CAS gebruikt, zijn nu in principe ook al beschikbaar voor de politie. Het algoritme maakt er overzichtelijke kaarten van, maar het werkt niet op het niveau van individuen.? Ze vindt de landelijk uitrol dan ook niet vreemd. ?Ik denk dat het een goed moment is. De politie gebruikt veel methodes die niet per se wetenschappelijk bewezen zijn. Dat is logisch, want het is altijd erg moeilijk om aan te tonen dat de criminaliteit daalt door een bepaald beleid. Hopelijk gaat de politie meer inzetten op het duiden van de data. Dat is belangrijk om van CAS een systeem te maken dat ook echt invloed heeft op de hoeveelheid criminaliteit.?
?Je kunt het systeem op een ethische manier invoeren zolang het algoritme maar transparant blijft en er bij elke verdere stap een discussie ontstaat?, zegt De Vries van TNO. Hij geeft wel meteen toe dat er nog de nodige beren op de weg zijn. ?De privacywetgeving en -handhaving zijn op dit moment slecht geregeld, zeker voor zaken als big data. Daar moet meer beleid voor komen. Daarnaast is er een belangrijke rol weggelegd voor het Openbaar Ministerie, rechters en de advocaten van verdachten. Die moeten kritische vragen stellen bij rechtszaken die als gevolg van predictive of prescriptive policing voorkomen: ?Hoe is mijn cli?nt gepakt? Is dat voor de wet te verantwoorden? Alleen als de juridische partijen zich mengen in de discussie krijg je een volledig debat.?
?Wat problematisch is?, voegt De Vries nog toe, ?is het ontbreken van een onafhankelijke landelijke of Europese ICT-autoriteit die initiatieven als CAS toetst aan de wet of aan ethische richtlijnen. Voor veel andere taken van de overheid bestaan zulke commissies wel, maar niet voor dergelijke algoritmes. Dat is eigenlijk vreemd; het zorgt er nu voor dat de controle op het gebruik van dit soort technieken van andere plekken moet komen.?
Los van al deze ethisch-maatschappelijke bezwaren kan het algoritme ook een veiligheidsrisico worden. ?Als criminelen een systeem kunnen hacken of namaken, hebben ze in feite een kaart die altijd de perfecte inbraakplek weergeeft. De dieven kunnen dan immers de politie omzeilen door naar de locatie te gaan waar het algoritme de kans op een inbraak het laagst schat.?
Aangezien de opzet van CAS relatief eenvoudig is, is het kraken van het systeem een realistische optie. Nu CAS prominenter wordt, wordt het ook verleidelijker om tijd en moeite in het hacken te stoppen. Bovendien zijn in Londen de misdaadcijfers openbaar, en er bestaat ook een open source predictive-algoritme. Daarmee kunnen mensen dus makkelijk een ?omgekeerde? misdaadkaart
maken.
Nu CAS landelijk is uitgerold, is voorspellend politiewerk in Nederland realiteit geworden. Of steden zoals Amsterdam daar uiteindelijk ook veiliger van worden, is alleen de vraag. In dit geval is de belofte van een techniek al genoeg geweest om hem door te laten breken. Ondertussen werkt men aan de volgende stap, waarvoor TNO nu data verzamelt bij de politie zelf. Daarmee be?nvloeden nieuwe technieken zoals zelflerende algoritmes en big data nu, naast het zakenleven en de wetenschap, ook het werk van de politie op straat. Dat werk zal er alleen niet per se makkelijker op worden. Er is gespecialiseerde kennis nodig die lang niet iedere agent of informatiewerker nu heeft. Hopelijk geldt dat hoe langer de agenten met het systeem werken, des te beter ze het weten te gebruiken. En wie weet wordt predictive policing daardoor straks effectiever dan het onderzoek tot nu toe laat zien.
Agenten sturen is niet altijd de beste oplossing om misdaad te voorkomen. Ook zorgen voor adequate verlichting kan een goede zet zijn. Op het Hoekenrodeplein bij Station Bijlmer Arena
is er dankzij zogenoemd adaptief licht altijd de juiste sfeer voor optimale veiligheid en gezelligheid. Zo heeft de politie minder werk.
Bronnen: De Ingenieur