Is predictive policing ? politiewerk op basis van onderbouwde voorspellingen ? het nieuwe wondermiddel? Dankzij geavanceerde algoritmen die big data aankunnen, kan de politie misdaad voorspellen en preventieve maatregelen nemen om de kans op misdaad te verkleinen, bijvoorbeeld door daar te zijn waar die kans het grootst is. Predictive policing is overgewaaid uit Amerika. Veel politieorganisaties zijn ermee in de weer, maar onderzoek heeft nog geen uitsluitsel kunnen geven over de vraag of het echt effectiever is dan mensenwerk.
Auteurs: Rick van der Kleij is senior researcher human factors; Selmar Smit is senior researcher artificial intelligence; Hans van Vliet is senior business consultant; Freek van Wermeskerken is
researcher artificial intelligence. Allen bij TNO.
Predictive policing is relatief nieuw. Critici benadrukken vaak de mogelijkheid van systematische vooringenomenheid van de voorspelling (en dus etnische profilering) en zien een gebrek aan transparantie en verantwoording. Daarnaast brengen precieze voorspellingen de misdaadcijfers niet per definitie omlaag, bijvoorbeeld als het tijdstip en de locatie onvoldoende specifiek zijn of de politie de voorspellingen verkeerd interpreteert. Aan de andere kant hoeven bij een goed ontworpen systeem en goede inbedding in het proces dergelijke effecten helemaal niet op te treden en kan predictive policing bijdragen aan effectiever politieoptreden.
Dit artikel belicht de data en de algoritmen in de predictive policing-terugkoppelingslus. Hoe staat het met de algoritmen die de tijd en locatie van een toekomstige misdaad voorspellen (zoals inbraak)? De huidige benaderingen en algoritmen kunnen beter. Onze nieuwe benadering van predictive policing laat zien wat er precies moet veranderen om de effecten van voorspellingen op basis van algoritmen te verbeteren, en daarmee ook het proces van de toewijzing van de schaarse middelen (agenten, voertuigen, enzovoort).
We kijken eerst naar de huidige voorspellingsalgoritmen. Vervolgens zoomen we in op de problemen met deze algoritmen en de manier waarop die problemen toenemen wanneer de voorspellingen daadwerkelijk worden gebruikt voor operaties. Daarna beschrijven we onze nieuwe benadering en kijken we hoe het verder moet.
>> “Onze nieuwe benadering laat zien wat er precies moet veranderen”
Huidige predictive-policingalgoritmen
Predictive-policingalgoritmen zijn doorgaans gebaseerd op gecombineerde informatie, bijvoorbeeld omgevingsgerelateerd/demografisch, datum-/tijdgerelateerd en vooral ook misdaad in het verleden. Een voorbeeld: het meest simpele voorspellingsmodel stelt dat het voorspelde aantal incidenten op een locatie (?box?) gelijk is aan het gemiddelde aantal vorige week gemelde incidenten op deze locatie. Dit model kan werken, maar er zijn complexere modellen denkbaar:
Het aantal inbraken op een specifieke locatie staat gelijk aan 2 x het aantal inbraken vorige week min 1 x het aantal inbraken van precies twee weken geleden.
Dit model kan een simpele trend weergeven. Als er vorige week tien inbraken waren en de week ervoor acht, dan zal de voorspelling twaalf zijn. Toevoeging van meer data levert al snel complexe formules op. De uitdaging hierbij is: wat is de wegingsfactor (het relatieve belang) van iedere variabele? In het vorige voorbeeld was dat eenvoudig, namelijk 2 en 1. Maar hoe zit dat met deze formule?
Komende maandag is het aantal inbraken in deze ?box? 0,257 x de luchtvochtigheid, plus 1,56 x het aantal inbraken vorige week, min 0,46 x het aantal inbraken dat gewoonlijk op een maandag plaatsvindt, plus 0,12 x het aantal inbraken vorige week in een aangrenzende ?box?.
Wegingsfactoren kunnen worden geschat op basis van?historische data. Als je weet wat vorig jaar de exacte luchtvochtigheid was op een specifiek moment en als je het aantal gemelde inbraken vorige week, het gebruikelijke aantal inbraken op een maandag en het aantal inbraken op aangrenzende locaties kent, dan is het mogelijk het gewicht van iedere variabele vast te stellen, en is de gemiddelde kwadratische fout het kleinst. Met een complexe formule kun je een boek vullen. De termen die gerelateerd zijn aan misdaden in het verleden zijn over het algemeen het belangrijkst,
omdat deze in essentie trend analyzers zijn. De formules schatten de waarschijnlijkheid van een incident op een specifieke locatie en een specifiek tijdstip op basis van de trend in gemelde misdaden uit het verleden. De meeste predictive-policingsystemen werken op basis van deze, of vergelijkbare, uitgangspunten.
Vertekend beeld
Om misdaad te kunnen voorkomen, moeten we weten wat het misdaadpotentieel is: het aantal misdaden dat zou plaatsvinden als we niets doen. Er zijn heel veel factoren van invloed op het misdaadpotentieel, en die kunnen verschillen per type misdaad. Voorbeelden zijn het opleidingsniveau van de dader of diens aanwezigheid in een situatie die geschikt is om een misdaad te plegen ? de gelegenheid maakt de dief.
Het probleem zit in de data die de politie gebruikt voor het voorspellen van misdaad. Dit zijn namelijk data over gemelde misdaad en niet over het daadwerkelijke misdaadpotentieel. Bij inbraak komt het gemelde misdaadcijfer redelijk overeen met de gepleegde misdaad. Maar voor? fietsendiefstal gaat dat niet op. Mensen doen hierbij niet snel aangifte, want de kans dat je je fiets terugziet is klein en het aangifteproces is moeizaam. Daar komt nog een complicerende factor bij. Het percentage aangiften verschilt per locatie (?box?), terwijl de meeste software aanneemt dat die variabele constant is. Verder kan de aangiftebereidheid op een locatie stijgen als er agenten aanwezig zijn.
En wat als die data een bijproduct zijn van politieoperaties, bijvoorbeeld in het geval van drugdealers? Data in dit verband worden meestal gegenereerd door de politie zelf. Op plekken waar geen agent is geweest, kan de politie dus geen overtredingen waarnemen, wat niet betekent dat er geen misdaad heeft plaatsgevonden. Kortom: de data die voor de huidige predictive-policingsoftware worden gebruikt, geven de werkelijkheid niet goed weer. Bovendien verschilt de mate waarin dit beeld wordt vertekend vermoedelijk per type misdaad en locatie.
Dat is nog niet alles. De data van de politie houdt ook geen rekening met de voorkomen misdaad. Het misdaadpotentieel voor een specifieke locatie kan hoog zijn, terwijl het grootste gedeelte van die misdaad wordt voorkomen door intensieve surveillance. Een dergelijke ?box? kent dus weinig gepleegde (en dus gemelde) misdaad en wordt daardoor ook in het voorspellingsmodel ondervertegenwoordigd.
Voorspellingen die enkel op basis van gemelde misdaad werken, zullen dus (in een bepaalde mate) vertekend zijn. Niet-gemelde of voorkomen misdaad wordt beide niet meegenomen, en daardoor is de gemelde misdaad meestal kleiner dan het aantal gepleegde misdaden en te allen tijde kleiner dan de daadwerkelijke potenti?le misdaad. In feite worden met de huidige algoritmes enkel aangiftes voorspeld, en niet de criminaliteit. Dit effect wordt nog verder versterkt door wat wij de ?back-to-the-future-paradox? noemen (naar de gelijknamige films).
Back-to-the-future-paradox
Een belangrijke stimulans voor criminele activiteit is de afwezigheid van mensen die misdaad kunnen voorkomen, bijvoorbeeld agenten op straat. Politieoptreden heeft dus een effect op de data die worden verzameld. Wanneer we voorspellingen gebruiken om operaties aan te sturen, cre?ren we dan ook een terugkoppelingslus:
Gemelde misdaad wordt gebruikt om misdaad te voorspellen, de voorspelde misdaad wordt gebruikt om operaties aan te sturen en de operaties zelf be?nvloeden de gemelde misdaad. Op die manier kunnen voorspellingen zichzelf dus bevestigen en leiden tot een zichzelf steeds versterkende terugkoppelingslus.
In het beste geval leidt dit tot onnauwkeurige voorspellingen, in het ergste kan het zelfs discriminatoir beleid tot gevolg hebben. Het probleem van het voorspellen van drugsdealers is ondertussen redelijk bekend (hoewel nog niet opgelost), maar een terugkoppelingslus die vaak over het hoofd wordt gezien, is dat politieoperaties ook misdaad voorkomen, met als gevolg dat die voorspellingen de daadwerkelijke ernst van de situatie onderschatten. Als een agent op basis van een voorspelling ergens gaat staan en er gebeurt niets, kun je onmogelijk weten of de agent de
misdaad heeft voorkomen of dat hij zijn tijd heeft verknoeid op een veilige locatie. Dat effect treedt niet alleen op in de ?box? waarop de operaties gericht zijn. Door de afschrikking en de verspreidingseffecten (positieve en negatieve waterbedeffecten) kan het misdaadpotentieel op aangrenzende locaties toenemen of afnemen, afhankelijk van de afstand en de motivatie van de daders en aanwezige politie.
Een gebied met zeer veel aangiftes zorgt voor een hoge voorspelde misdaad. Als gevolg gaat de politie zich volledig op dat gebied concentreren, en verplaatsen criminelen hun activiteiten naar aangrenzende locaties. In het eerste gebied daalt dus het aantal aangiftes, en op de aangrenzende locaties stijgt het aantal aangiftes. Op basis van deze gegevens zal het algoritme de agenten naar de aanliggende gebieden sturen, waarna de criminelen zich dus gewoonweg weer terug verplaatsen. In dit (extreme) voorbeeld is het enige wat de politie doet steeds een stap te laat zijn.
De precieze vertekening in de resultaten, de afschrikking en de waterbedeffecten zijn lastig vast te stellen. Misdaad die zich verplaatst, zal vaak buiten de gebieden en typen misdaden vallen waarop de politie focust of schuilgaan achter globale trends. Om dit effect te kunnen isoleren, is eigenlijk een speciaal experiment nodig, namelijk langdurige vergelijking van misdaadlocaties waar de politie heel actief was met locaties waar dit helemaal niet het geval was. We kunnen alleen moeilijk voor een wetenschappelijk onderzoek bepaalde locaties geheel aan hun lot overlaten.
>> Er wordt een onderscheid gemaakt tussen?potenti?le, gepleegde en gemelde misdaad
Evaluaties
Hoe komt het dan dat predictive policing zo populair is geworden? Deels is dat een gevolg van een bijna religieus geloof in data bij sommige bedrijven, organisaties, media en delen van de samenleving. Ook is een grondige evaluatie van predictive policing gecompliceerd. En misschien komt het sommige mensen ook beter uit om te stellen dat de evaluaties van predictive policing niet deugen dan dat het algoritme niet goed, of juist heel succesvol is.
In sommige experimenten leidden predictive policingmethoden tot veel betere voorspellingen dan die van de reguliere analisten. Maar klopt dit wel? Het lijkt erop dat de analisten moesten voorspellen waar veel misdaad was (het potentieel), terwijl de nauwkeurigheid van hun voorspelling werd ge?valueerd op basis van gemelde misdaad. Het algoritme daarentegen voorspelde de gemelde misdaad en won dus. Daarbij hadden de analisten ook nog last van de backto-the-future-paradox, namelijk: er gingen wel agenten naar de door hen aangewezen locaties (om daar misdaad te voorkomen), maar niet naar de door de algoritme aangewezen locaties. Met andere woorden, een nauwkeurige voorspelling is geen goede indicatie voor de kwaliteit van de voorspelling.
Figuur 1. Routine Activity met betrekking tot misdaadpotentieel (P), gepleegde misdaad (C) en gemelde misdaad (R).
Het omgekeerde is zelfs waar: als er ook interventies gedaan worden op basis van voorspellingen is de daling van de nauwkeurigheid juist een teken dat ze goed werken. In de ?paper van Brantingham? (Mohler et al. 2015) vermindert die nauwkeurigheid enkel bij hun algoritme, en niet bij de voorspellingen van de analisten. De enig mogelijke verklaring is dat de politieactiviteit in de betreffende gebieden in de ?beschikbare tijd? geen effect had, omdat hier al voldoende reguliere politieactiviteit was. Wederom: de analisten voorspelden het misdaadpotentieel en niet het aantal
gepleegde misdaden.
Een nieuwe benadering
Om de voorspellingen van het algoritme (meldingen) beter te laten aansluiten op het denkkader van de analist (criminaliteit), is een nieuwe benadering nodig. De huidige methoden voor dataverzameling richten zich op de verkeerde criminele respons: enkel de gemelde misdaden worden meegenomen in de algoritmen. Alleen, predictive policing gaat niet om het voorspellen van het aantal dossiers, maar om het voorkomen van misdaad. Het betreft dus niet-waargenomen ? want voorkomen ? misdaden, of anders gezegd: het afschrikwekkende effect van politieactiviteit.
Ons voorstel is om voor de voorspellingen gebruik te maken van het veel stabielere misdaadpotentieel in plaats van de gemelde misdaden. Het misdaadpotentieel op zichzelf kunnen we niet meten. Wel kunnen we proberen het af te leiden uit wat er niet kon worden voorkomen, namelijk de aangiftes, de daadwerkelijke politie-inzet en de effectiviteit van die inzet. Het misdaadpotentieel is gelijk aan de aangiftes + de voorkomen misdaad (inzet maal effectiviteit). Helaas kun je de effectiviteit weer alleen berekenen als je het potentieel kent. Deze vicieuze cirkel is
te doorbreken met een complex wiskundig model (http://policing.ai).
Daar waar de huidige predictive-policingalgoritmen potenti?le misdaad modelleren als een functie van gemelde misdaad, maakt onze benadering een onderscheid tussen potenti?le misdaad (P), gepleegde misdaad (C) en gemelde misdaad (R), zie figuur 1. Bijvoorbeeld: het misdaadpotentieel van morgen (een maandag) heeft een relatie met de potenti?le misdaad op andere maandagen.
Op vergelijkbare wijze heeft het misdaadpotentieel op deze specifieke locatie een relatie met aangrenzende locaties. In tegenstelling tot de gemeten misdaad is het basisidee dat potenti?le misdaad alleen wordt be?nvloed door tijd en locatie, en slechts geleidelijk verandert, omdat potenti?le misdaad in feite de overlap is van ?potenti?le dader? en ?geschikt doelwit? in de gelegenheidstheorie,
beter bekend als de Routine Activity Theory. Zowel daders als slachtoffers opereren in een bepaald gebied. Tenzij ze zich verplaatsen of achter slot en grendel verdwijnen, is het aantal ?potenti?le daders? relatief stabiel. Datzelfde geldt voor ?geschikte doelwitten?. Mensen gaan niet in korte tijd en masse verhuizen of iets veranderen aan de geschiktheid als doelwit (bijvoorbeeld door nieuwe sloten tegen inbrekers aan te schaffen).
Het enige wat het algoritme hoeft te doen, is voor elk van deze relaties een getal vinden dat de sterkte goed uitdrukt. Tegelijkertijd moet het model getallen vinden voor de plaatselijke effectiviteit van de interventies en voor de waterbedeffecten. En natuurlijk moeten deze getallen zo goed mogelijk passen bij alle dagen, alle locaties en alle mogelijke vormen van politie-inzet in het
verleden en in de toekomst. En hoewel dat complex is, kunnen deze getallen geschat worden met behulp van een combinatie van het aantal historische aangiftes en de bijbehorende gepleegde politie-inzet (bijvoorbeeld door GPS tracking van voertuigen en communicatiemiddelen). En daarmee kan het model compenseren voor de back-to-the-future-paradox.
Figuur 2. Effect van surveillanceduur
Effect en effectiviteit
Naast verbeterde voorspellingen van criminele activiteiten heeft de nieuwe benadering nog een belangrijk voor?deel: ze bepaalt ook direct het effect van politie-inzet, evenals de effectiviteit per interventie. Daarmee kunnen in principe dus operaties geoptimaliseerd worden, bijvoorbeeld als we weten wat de effectiviteit (procentueel) is van een surveillance te voet in een bepaald gebied
(figuur 2).
We kunnen de surveillanceduur te voet in een ?box? optimaliseren door de effectiviteit te vermenigvuldigen?met de (voorspelde) potenti?le misdaad. Bijvoorbeeld: 10 minuten surveillance te voet kan mogelijk 0,044 (effectiviteit) x 2,0 misdaden (wat er zonder politie zou zijn opgetreden) voorkomen. Wanneer de potenti?le misdaden voor iedere ?box? zijn vastgesteld, is het eenvoudig om de
beschikbare hulpmiddelen en de naar verwachting voorkomen misdaden te optimaliseren.
Hoe nu verder?
Het pure voorspellingsinstrument ?predictive policing? kan dus nog flink worden verbeterd. Een belangrijke eerste stap richting de verbreking van de foutieve terugkoppelingslus in predictive policing is het meenemen van de daadwerkelijke actie die is ondernomen, zodat voor de effecten ervan te compenseren is. Voor de implementatie van de nieuwe benadering moet men 1) de huidige voorspelalgoritmes aanpassen?en 2) de interventies die zijn toegepast meten. Aan dat laatste zijn wel aspecten als privacy en transparantie verbonden.
[slideshare id=76826011&doc=prescriptivepolicingtnoen-170610155107&type=d]
>> Het voorgestelde model moet vooral inspireren en zeker niet dirigeren
Prescriptive policing
Een bijkomend voordeel van denieuwe benadering is dat ze de stap richting impactgedreven of zelfs prescriptive policing mogelijk maakt: het voorspellen van de effectiviteit van een bepaalde inzet, gegeven een bepaalde situatie en gebaseerd op kennis van de effecten van specifieke interventies. Als predictive policing kan voorspellen waar en wanneer je ergens moet zijn, dan kan prescriptive policing voorspellen wat vermoedelijk de beste handelwijze is voor die specifieke ?box? en tijd. Als we kunnen vaststellen dat iets werkt op locaties met specifieke kenmerken, maar niet in andere, dan kunnen we die kennis ook gebruiken voor andere locaties. Zonder de effectiviteit van elke interventie in die bepaalde ?box? te moeten vaststellen, kunnen we dus al beoordelen wat waarschijnlijk wel of niet gaat werken.
Ten slotte
Ten slotte nog dit. Handhaving is een van de moeilijkste taken van de politie en we moeten bedenken dat ook het meest geavanceerde model geen boeven vangt. Het is er enkel en alleen om de analisten te ondersteunen. Een model kan honderd keer roepen dat een bepaalde interventie klopt, uiteindelijk gaat het toch enkel om een kansberekening. Iemand die een specifiek gebied of mogelijke daders goed in beeld heeft, komt vermoedelijk tot een betere oplossing.
Het hier voorgestelde model, en in principe elk voorspelmodel, moet dus vooral inspireren, en zeker niet dirigeren. De werkelijke waarde van dit soort modellen zit in het gebruik ervan en de inbedding in het politieproces. Voorspellingen hebben op zich geen waarde. Het zijn de acties van politiemensen die ze waardevol kunnen maken. Daarom is het van belang om onderzoek te doen, te experimenteren en te investeren in de samenwerking tussen mens en systeem, communicatie, uitleg en transparantie, op zo?n manier dat politiemensen dergelijke systemen op waarde kunnen
schatten.?
Bronnen: Website voor de politie waar ook een geannoteerde versie staat met daarin de wiskundige onderbouwing.
