Eindevaluatie OOR containermodel.pdf

Eindevaluatie OOR containermodel Objectherkenning Openbare Ruimte (OOR) Een product van Computer Vision Team, ontwikkeld in opdracht van V&OR

Mei 2023

Inhoud 1. Aanleiding & probleemstelling 2. OOR containermodel 3. Resultaten pilot 4. Inschatting omvang & potentie 5. Geleerde lessen 6. Conclusies

2

1. Aanleiding en probleemstelling

3

GRIMBURGWAL DIT NOOIT WEER!

4

Aanleiding Hoe kunnen we dit organiseren? Samen met Digitalisering & Innovatie (D&I) verkenning gestart Naast Zwaar Verkeer ook focus op Detectie van mogelijk niet vergunde zware containers op zwakke kades Past binnen de doelen van Programma Logistiek Schoner / Veiliger / Lichter als doelstellingen En binnen de doelen van THOR Slimmer & effectiever werken Maar ook bij de digitaliseringsstrategie O.a. gedigitaliseerde handhaving 5

2. OOR containermodel

OOR containermodel | Doelen

1

Inzicht containergebruik

Handhaving gericht inzetten

Ontlasten bruggen en Kademuren

Verbeteren leefbaarheid van de stad

OOR containermodel | Product OOR geïntegreerd binnen de bestaande processen voor ASC – THOR Meldkamer – THOR Centrum: ▪

Geautomatiseerde meldingen

▪

Potentieel illegale containers

▪

Digitale burger

8

OOR containermodel | Product ◼ ◼ ◼ ◼

◼ ◼ ◼

Scanauto wint data in Blurring van afbeeldingen (Blurring as a Service, BaaS) Herkenning containers Matching met vergunningen Matching met kwetsbare kades Prioriteren containers Versturen meldingen

Blurring as a Service (BaaS) ◼ ◼

◼

OOR containermodel maakt gebruik van Blurrings as a Service (BaaS) Zowel OOR als BaaS zijn producten ontwikkeld door het Computer Vision Team (Directie Digitalisering & Innovatie) BaaS onderscheidt zich van de huidige standaard in de markt op de volgende punten: 1. Anonimiseren van gehele personen in plaats van alleen gezichten 2. Het minimaliseren van bias: alle personen hebben een gelijke kans om geanonimiseerd te worden ongeacht leeftijd, geslacht en huidskleur 3. Transparantie over de werking en de prestatie van het algoritme: BaaS behaalt een prestatiescore van 95% voor personen en 97% voor kentekens

10

Research & development SOTA Computer Vision ◼ Faster R-CNN (2015) ◼ YOLOV5 (2020) ◼ Triangulation (2017)

CVT Infrastructure ◼ Azure (2010) ◼ Kubernetes (2015) ◼ Airflow (2015)

11

3. Resultaten pilot

Detecteren van containers met beeldherkenning Voorbeelden van panorama beelden met correcte containerdetecties (zgn. True Positives)

Het detectiealgoritme maakt ook nog fouten, zoals vrachtwagens, woonboten, gebouwen, bouwhekken (zgn. False Positives)

13

Signaleren van potentieel illegale containers P1 – 30 jan

P2 – 6 febr

P3 – 13 febr

P4 – 20 febr

P5 – 27 febr

P6 – 6 mrt

P11 – 11 apr

P12 – 17 apr

Na de eerste 6 ritten is een aantal aanpassingen doorgevoerd die hebben geleid tot meer containers op de kaart P7 – 13 mrt

P8 – 20 mrt

P9 – 27 mrt

P10 – 3 apr

14

Bevindingen pilot | Techniek & proces ▪

Beeldherkenning blijkt succesvol in het herkennen van containers en bouwketen ▪ Hertraining van de objectherkenning zal het aantal foutieve detecties doen afnemen

▪

Technisch is het mogelijk om een geautomatiseerd systeem op te leveren dat in korte tijd containers detecteert en signalen oplevert

▪

De OOR signalen zijn succesvol afgehandeld via het bestaande proces: ASC – THOR Meldkamer – THOR Centrum ▪ ASC koppelt foutieve detecties terug aan het Computer Vision Team ▪ Handhaver herkent de OOR signalen in CityControl aan de classificatie 'Signalering'

15

Bevindingen pilot | Doelgerichtheid signalen ▪

Voor 46% van alle onderzochte OOR signalen blijkt inderdaad illegaal, dit is significant effectiever dan de huidige werkwijze. ▪ De beoordeling van THOR bleek na onderzoek niet in alle gevallen correct ▪ In het aanvraagproces blijkt het (te) eenvoudig om enkel een parkeerplaats te reserveren zonder een objectvergunning aan te vragen ▪ Het merendeel van de gesignaleerde illegale containers is na een waarschuwing verwijderd

▪

De potentie van de OOR signalen blijkt na evaluatie nog hoger te liggen door enkele relevante inzichten: ▪ De filters & business rules van CVT zijn gedurende de pilot geoptimaliseerd ▪ Beschikbaarheid van kwalitatief goede WIOR data is nodig ▪ Data beschikbaarheid Decos op orde, winst te behalen in data consistentie ▪ Voor THOR is Decos data op straat slecht toegankelijk, waardoor OOR signalen veel waarde toevoegen

▪

86% (6) van de 7 handhavers die de evaluatie hebben ingevuld geeft aan ‘enigszins positief’ (3) of ‘positief’ (3) te zijn over de toegevoegde waarde van de OOR signalen voor hun werkzaamheden: ▪ OOR bespaart tijd doordat handhaving doelgericht op onderzoek uit kan ▪ Scheelt veel uitzoekwerk in Decos ▪ Meldingen zijn goed herkenbaar in CityControl ▪ Soms worden eerder onderzochte locaties nogmaals doorgestuurd ▪ Soms blijken containers ter plekke toch een vergunning te hebben ▪ Meer objecten toevoegen aan OOR, zoals dixies en steigers, kan nog meer waarde opleveren 16

4. Inschatting potentie & omvang

Scenarioberekening potentie effectiviteit OOR signalen ▪

Huidige pilotresultaten: significant beter dan de huidige werkwijze (nulmeting)

18

Scenarioberekening potentie effectiviteit OOR signalen ▪

Huidige pilotresultaten: significant beter dan de huidige werkwijze (nulmeting)

▪

Scenario 1: optimalisatie tijdens pilot door CVT (Computer Vision Team)

19

Scenarioberekening potentie effectiviteit OOR signalen ▪

Huidige pilotresultaten: significant beter dan de huidige werkwijze (nulmeting)

▪

Scenario 1: optimalisatie tijdens pilot door CVT (Computer Vision Team)

▪

Scenario 2: integreren correcte WIOR-vergunningen data

20

Scenarioberekening potentie effectiviteit OOR signalen ▪

Huidige pilotresultaten: significant beter dan de huidige werkwijze (nulmeting)

▪

Scenario 1: optimalisatie tijdens pilot door CVT (Computer Vision Team)

▪

Scenario 2: integreren correcte WIOR-vergunningen data

▪

Scenario 3: verbeteren consistentie vergunningen data in Decos

21

Geschatte omvang ▪

Gemiddeld staan wekelijks 70-80 containers en/of bouwketen op bruggen en kademuren in Centrum

▪

Daarvan staan er 30 op kwetsbare bruggen en kademuren

▪

18% van alle containers en/of bouwketen zijn naar schatting illegaal

▪

4% van alle containers en/of bouwketen zijn naar schatting illegaal op kwetsbare bruggen en kademuren

▪

Dit betekent wekelijks 13 illegale containers op bruggen en kademuren in Centrum en 3 illegale containers op kwetsbare kades

▪

Team Bouwoverlast heeft in jan-apr 2022 in totaal 42 containers kunnen onderzoeken en 8 illegale containers gevonden

▪

Doelgerichte opsporing is noodzakelijk om effectief te kunnen handhaven op alle illegaliteit 22

5. Geleerde lessen Pilot OOR containerherkenning

Geleerde lessen Scope • Onderzoeksvraag was beperkt tot technologie ontwikkelen en een kaart met locaties opleveren • + Nice To Have’s • Periode van een paar maanden • Beperkt budget • We hebben door intensieve samenwerking, meer budget en tijd de scope kunnen uitbreiden en hogere kwaliteit kunnen leveren Product/ inzichten • Weinig/ geen inzage in de huidige situatie • Geleerd aan welke knoppen we konden draaien om tot een zo accuraat mogelijk beeld te komen (locatie en prioriteitsbepaling) • Van de 75 containers die wekelijks in het centrum staan zijn er gemiddeld 13 illegaal en daarvan staan er 3 op een zwakke kades • Correcte data is ontzettend belangrijk • Het aanvraagproces kan aangescherpt worden • We zijn nu in staat om proactieve signalen naar handhaving te sturen (naast burgermeldingen) Handhaving kan gericht ingezet worden • Het model kan ontwikkeld worden om andere objecten te detecteren (met kleine aanpassingen) 24

6. Toekomstbeeld OOR Objectherkenning in de Openbare Ruimte

Toekomstbeeld OOR (Objectherkenning Openbare Ruimte) OOR en Gemeente Amsterdam ▪

OOR signalen kunnen een rol spelen bij het doelgericht opsporen van illegale zware objecten op kwetsbare kades, zoals containers en bouwketen

▪

OOR signalen hebben potentie voor slimmer & effectiever werken binnen THOR

▪

OOR signalen kunnen bijdragen aan proactief handelen van de gemeente, waarbij minder afhankelijkheid is van burgermeldingen en alle stadsdelen gelijk behandeld kunnen worden

▪

OOR signalen kunnen waarde hebben voor meerdere stadsdelen en meerdere directies, door uitbreiding met nieuwe use cases, zoals dixies, steigers, afval en scheuren in wegdek

Structurele data inwinning gevraagd door V&OR ▪

Komende 1 tot 5 jaar data inwinning als leertraject opgepakt door directie DII

▪

Doel: > 5 jaar data inwinning structureel beleggen binnen gemeente

Potentieel vervolg ▪

Testen met verbeterde datakwaliteit, hertrainde modellen & nieuwe use cases

▪

Onderzoeken waarde voor andere stadsdelen

▪

Gereed maken OOR voor implementatie met structurele data inwinning

▪

Eigenaarschap & opdrachtgeverschap is hiervoor cruciaal