Rapport Opwaarderen - borgen van publieke waarden in de digitale samenleving

peerby.com/nl parkflyrent.nl thuisafgehaald.nl whosdrivingyou.org/blog/ubers-deleted-rides-of-glory-blog-post buzzfeed.com/johanabhuiyan/uber-settles-godview#.yvb4dKlNR

67

Rathenau Instituut

bepaalde set van regels maar maken ze gebruik van zelflerende statistische technieken. Daardoor zijn de beslissingen die een algoritme maakt voor de mens haast ondoorgrondelijk (Scholz 2016a). Om manipulatie te voorkomen is het daarom van groot belang dat we inzicht hebben in hoe dergelijke algoritmen tot bepaalde keuzes komen. In het onderzoek van psycholoog Robert Epstein bleek hoe zoekresultaten de voorkeuren van kiezers sterk kunnen beïnvloeden door de volgorde van de resultaten in een zoekmachine, zoals Google, te wijzigen. Volgens Epstein vormt dit een ernstige bedreiging voor de democratie.

44

Maar algoritmen worden op veel meer terreinen ingezet.

Bij Uber wordt bijvoorbeeld de manier waarop met vraag en aanbod van mobiliteit wordt omgegaan ook door algoritmen besloten. De opkomst van de blockchain schetst een toekomst waarin organisaties in de toekomst volledig geautomatiseerd en gedecentraliseerd in code kunnen worden vastgelegd (Wright & De Filippi 2015). Een organisatie zoals een verzekeraar zou aan de hand van bepaalde in software vastgelegde regels geautomatiseerd geld kunnen innen, en kunnen uitkeren wanneer een klant aan bepaalde voorwaarden voldoet, zonder dat ergens in die beslisprocessen nog een mens aan te pas komt. Met die toenemende automatisering rijst de vraag hoe er controle en toezicht gehouden kan worden op dergelijke systemen. Transacties tussen Uber en klanten hebben al enkele malen geleid tot misverstanden omdat klanten niet op de hoogte waren van het algoritme dat Uber toepaste. Bij de ontknoping van het gijzelingsdrama in Sydney in december 2014 probeerden veel mensen via een Uber-taxi weg te komen van de plek des onheils. Het Uber-algoritme signaleerde de sterk verhoogde vraag en rekende vervolgens vier keer de normale ritprijs.

45

Op sociale media werd Uber verweten dat ze

misbruik maakte van de gijzelingssituatie. In een blogpost verontschuldigde Uber zich: ‘Surge pricing is algorithmic and kicks in automatically when demand for rides outstrips the supply of cars that are on the road.’ Wanneer algoritmes geen rekening houden met onvoorziene situaties kan dat dus tot onwenselijke gevolgen leiden.

Rechtvaardigheid: uitbuiting en uitsluiting Platformen zorgen ervoor dat de gebruiker een dubbele rol heeft; als producent en als consument. Met spreekt in dit geval van prosumers. De kracht van platformen is dat ze vraag en aanbod op een efficiënte manier bij elkaar brengen en via slimme beoordelingsmechanismen het vertrouwen scheppen dat transacties – zoals het verhuren van een appartement aan een onbekende – mogelijk maakt. Om efficiënt in te kunnen springen op een veranderende vraag werken platformen veelal met een flexibele schil van aanbieders die op afroep beschikbaar zijn. Om deze reden wordt ook wel gesproken over de on-demand economy. Het feit dat aanbieders op afroep hun diensten aanbieden en niet in een vast dienstverband worden aangenomen kan traditionele mechanismen van werknemersbescherming onder druk zetten, waardoor uitbuiting op de loer ligt. Zo zouden chauffeurs van Uber te lange werkdagen maken en weinig in te brengen te hebben als het bedrijf besluit de tarieven voor ritten aan te passen (Rogers 2015). Daarnaast kunnen platformen eenzijdig besluiten een gebruiker de toegang te ontzeggen tot het platform. Voor gebruikers die voor hun inkomsten afhankelijk zijn van toegang tot het platform kan

44 45

politico.com/magazine/story/2015/08/how-google-could-rig-the-2016-election-121548 thestar.com/news/world/2014/12/15/uber_backtracks_on_price_hikes_during_sydney_drama

68

Opwaarderen

dit verstrekkende gevolgen hebben. Huidige casuïstiek laat bovendien zien dat platformen makkelijk over gaan tot het uitsluiten van bepaalde gebruikers. Voor Uber-chauffeurs mag hun beoordeling niet onder de 4.6 sterren komen (4.8 sterren is het gemiddelde). Gebeurt dat wel, dan kunnen zij worden verwijderd van de dienst. Rogers (2015) beschrijft dat het continue systeem van reviews ervoor zorgt dat aanbieders zich altijd vriendelijk en vrolijk moeten gedragen. Naast hun fysieke arbeid wordt van hen verwacht een bepaalde ‘emotionele arbeid’ te verrichten. Waar reguliere taxichauffeurs de vrijheid hebben om chagrijnig achter het stuur te zitten, kan dat voor Uberchauffeurs betekenen dat ze hun bron van inkomsten kwijtraken.

Machtsverhoudingen: oneerlijke concurrentie en monopolisering Volgens Scholz (2016b) is het succes van bepaalde platformen niet alleen te wijten aan de technologische mogelijkheden, maar hangt er ook mee samen dat de betreffende bedrijven ‘illegaliteit als methode’ hanteren. Dit leidt tot oneerlijke concurrentie tussen platformen en reguliere bedrijven, omdat platformen zich niet (hoeven te) houden aan regels of vergunningen die gelden voor reguliere bedrijven. Airbnb maakt het mogelijk dat particulieren zonder vergunning kamers verhuren en dat niet aan de veiligheidseisen en belastingplicht wordt voldaan waar reguliere hotels zich wel aan moeten houden. En UberPop-chauffeurs hoeven zich niet aan de rij- en rusttijden te houden, hoeven niet aan de veiligheidsvoorschriften te voldoen waar taxi’s aan moeten voldoen, en hoeven geen btw in rekening te brengen. Daarnaast verdient de gemiddelde UberPop-chauffeur minder dan het minimumloon en zien de meeste chauffeurs dit als een bijbaantje.

46

UberPop werd

in december 2014 in Nederland verboden, maar Uber bleef de dienst nog bijna een jaar aanbieden, en betaalde zelfs de boetes van illegaal rijdende UberPop-chauffeurs.

47

In november 2015 is Uber

uiteindelijk gestopt met het aanbieden van de taxidienst UberPop, omdat volgens het bedrijf ‘de dienst een belemmering vormt voor een constructieve dialoog over modernisering van bestaande wet- en regelgeving.’

48

Volgens Frenken et al. (2015) is het logisch dat er aanvankelijk een gedoogbeleid is om experimenten de ruimte te geven en de effecten te kunnen inschatten. Toch pleiten de auteurs voor een heldere regelgeving als platformen zoals Airbnb en Uber zo snel groeien dat ze ontwrichtende en onverwachte effecten op bestaande sectoren en voor de samenleving als geheel hebben. Hierbij kunnen we denken aan machtsconcentraties van dergelijke platformen, met monopolies met hoge winstmarges als gevolg. Deze monopolies kunnen bestaan doordat dergelijke platformen gekenmerkt worden door netwerkeffecten zoals we dat hebben gezien bij internetbedrijven als Google (in zoeken op internet), Facebook (in sociaal netwerken) en WhatsApp (in mobiele berichten). WhatsApp bijvoorbeeld werkt alleen als er een groot netwerk van gebruikers op zit. Als zo’n app dan eenmaal de grootste is, is het haast onmogelijk om hiermee te concurreren, omdat er sprake is van the winner takes all (Kreijveld 2014). Kreijveld stelt dat platformen hun bereik ook relatief eenvoudig kunnen vergroten door nieuwe diensten te integreren en toe te voegen (zoals 49

Uber, dat zich nu ook bezighoudt met pakketbezorging ) waardoor de vraag rijst of platformen daarmee niet te groot worden. Een gevolg is dat gebruikers afhankelijk worden van zo’n platform, 46 47 48 49

volkskrant.nl/economie/uberpop-chauffeur-haalt-vaak-minimumloon-niet~a3823583 nos.nl/artikel/709243-uber-betaalt-desnoods-boetes nrc.nl/nieuws/2015/11/18/uber-stopt-met-uberpop-in-nederland rush.uber.com/how-it-works

Rathenau Instituut

69

omdat het heel lastig is om van een ander platform gebruik te maken waar het netwerk te klein is om interessant te zijn. Ook opgebouwde data en connecties binnen een platform en andere diensten die gekoppeld zijn aan het opgebouwde profiel maken het voor een gebruiker moeilijk om naar een andere dienst over te stappen; een zogenoemd lock-in-effect.

3.5

Digitale wereld

Zoals we in hoofdstuk 2 hebben besproken leidt de digitalisering van de materiële, biologische en socio-culturele wereld tot een steeds verder uitdijende digitale datawereld. In de digitale wereld worden gegevens verwerkt en geanalyseerd, en op basis daarvan worden zowel door mensen als door geautomatiseerde systemen beslissingen genomen die vervolgens weer effect hebben in de fysieke wereld. Ontwikkelingen op het gebied van big data, slimme algoritmen en artificiële intelligentie (AI) zijn dan ook een onmisbaar onderdeel van de hiervoor besproken technologieën. Zo zijn spelen die ontwikkelingen een rol bij Internet-of-Things-apparaten die informatie versturen naar de cloud (big data) en tegelijkertijd door data en algoritmen uit de cloud worden aangestuurd om een bepaalde actie uit te voeren in de fysieke wereld. Omdat de vraagstukken omtrent big data, algoritmen en AI in elkaar overlopen, bespreken we deze ontwikkelingen hier samen als onderdeel van de digitale wereld.

Privacy: het reguleren van big data Er is door digitalisering een levendige handel in informatie ontstaan. ‘Big data’ wordt soms ook wel ‘het nieuwe goud’ genoemd. De waarde van data is veelal dat ze het mogelijk maakt om betere beslissingen te nemen, bijvoorbeeld over welke consument welke advertentie te zien moet krijgen, of over welke personen onderzocht moeten worden als mogelijke fraudeurs. Het vraagstuk van privacy is hiervoor al meermaals besproken. De specifieke uitdaging die big data met zich meebrengen op het gebied van privacy zijn het hergebruik en de mogelijke combinaties van verschillende gegevensbronnen. Daarbij is een belangrijk kenmerk van big data dat het van tevoren niet duidelijk is welke inzichten er uit data gehaald kunnen worden. Zo lieten onderzoekers zien dat op basis van Facebook-likes voorspellingen konden worden gedaan over onder andere iemands seksuele voorkeur, religieuze en politieke oriëntaties, persoonlijke karaktereigenschappen en gebruik van verslavende middelen (Kosinsky et al. 2012). Overheden kijken ook naar de mogelijkheden van big data. Een voorbeeld is het Systeem Risico Indicatie (SyRI) waarin data over onder andere boetes, schulden, uitkeringen, onderwijs en inburgering binnen een beveiligde digitale omgeving versleuteld, gecombineerd en geanalyseerd worden om effectiever te zoeken naar mensen die uitkeringen of toeslagen misbruiken.

Het SyRI systeem werd door zowel de Autoriteit Persoonsgegevens en de Raad van State bekritiseerd vanwege de impact op de privacy (WRR 2016). Naar aanleiding van deze kritiek is het systeem op een aantal punten aangepast, maar niet alle aanbevelingen werden overgenomen. Het combineren en hergebruik van big data lijkt haaks te staan op het doelbindingsprincipe dat een van de pijlers is van de wetgeving op het gebied van gegevensbescherming (Kool et al. 2015). Verschillende auteurs pleitten er dan ook voor dat wetgeving en toezicht zich in het tijdperk van big data meer zouden moeten richten op verantwoordelijkheden van bedrijven (accountability) en hoe data gebruikt wordt (Podesta et al. 2014; Cate et al. 2014). Maar zijn er ook tegengeluiden die pleiten dat doelbinding een belangrijk mechanisme is om ongebreidelde verzameling en data-

70

Opwaarderen

obesitas tegen te gaan (Hildebrandt 2015). Op Europees niveau wordt met een wijziging van de dataprotectiewetgeving getracht om de vragen van big data problemen het hoofd te bieden. De nieuwe Europese Dataprotectieverordening (EU 2016/679) bouwt voort op de principes van de dataprotectierichtlijn (95/46/EC), voegt daar een aantal nieuwe plichten en verantwoordelijkheden voor dataverwerkers aan toe, en versterkt de rechten van het individu. Uit de verordening blijkt dat het onderwerp data hoog op de agenda staat. Tegelijkertijd is er ook discussie over de vraag of de wettelijke aanpassingen adequaat zijn om de uitdagingen die digitalisering met zich meebrengt aan te pakken. Met name waar het gaat om profilering biedt het juridische kader slechts ten dele bescherming (Kool et al. 2015).

Autonomie: filteren en vrijheid van meningsuiting Waar het verzamelen van data overgaat in de volgende fase van de cybernetische loop, in het analyseren en toepassen, worden nieuwe vragen opgeroepen. Online platformen spelen een steeds grotere rol bij het bepalen van welke informatie en welk nieuws mensen zien. Een bekend voorbeeld is hoe Google-zoekresultaten van verschillende personen variëren door een personalisatie-algoritme dat onder andere kijkt naar eerdere zoekopdrachten (Pariser 2011). Dat roept vragen op met betrekking de sturende rol van grote platformen en ook over de vrijheid van meningsuiting. Een recent voorbeeld is de verwijdering van de iconische World Press Photo uit 1972 waarop een meisje staat afgebeeld dat slachtoffer is van een napalmaanval (het ‘Napalmmeisje’ zoals de foto is gaan heten) door Facebook. Facebook kreeg veel kritiek te verduren en maakte later de verwijdering ongedaan. 50 Ook andere platformen zoals Google en Twitter (en ook Facebook), zijn bekritiseerd omdat ze de verspreiding van ‘nepnieuws’ zouden faciliteren. 51 Dat leidt tot een discussie over de rol en verantwoordelijkheden van platformen in relatie tot de vrijheidsmeninguiting en het filteren van informatie. Deze discussie deed in de nasleep van de Amerikaanse presidentiële verkiezingen in 2016 veel stof opwaaien. De platformen onderzoeken welke actie ze kunnen nemen tegen nepnieuws.

52

Controle: inzicht in algoritmen en AI Bij het analyseren en het nemen van beslissingen op basis van gegevens, spelen software en geautomatiseerde systemen een steeds grotere rol. De verwachting is dat deze trend door zal zetten. Algoritmes spelen reeds een rol bij het bepalen van persoonlijke online informatievoorziening op sociale netwerken, het bepalen van kredietwaardigheid, het opsporen van fraudeurs en terrorismeverdachten, en het handelen op de beurs (Pasquale 2015). IBM voert experimenten uit met het inzetten van de supercomputer Watson om artsen te ondersteunen bij het doen van medische diagnostiek. En ook binnen de rechtspraak wordt gekeken hoe geautomatiseerde systemen kunnen helpen bij het analyseren van bergen aan juridische casuïstiek en het voorzien van advies. 53

50 51

http://www.volkskrant.nl/buitenland/facebook-maakt-verwijdering-napalmmeisje-na-kritiek-ongedaan~a4373624/ http://www.rtlnieuws.nl/technieuws/nepnieuws-verspreid-door-aanpassing-zoekalgoritme-google, http://www.reuters.com/article/us-twitter-facebookcommentary-idUSKBN13W1WO

52 53

http://www.nytimes.com/2016/11/15/technology/google-will-ban-websites-that-host-fake-news-from-using-its-ad-service.html?_r=1 theatlantic.com/sponsored/ibm-transformation-of-business/watson-takes-the-stand/283

Rathenau Instituut

71

De afgelopen jaren is de discussie over controle op de onderliggende algoritmen in geautomatiseerde systemen vanuit verschillende hoeken aangekaart (Zarsky 2013, Pasquale 2015, Kool et al. 2015, WRR 2016). De Duitse regering bracht onlangs een position paper uit waarin ze stelt dat online platformen – zoals Google en Facebook – inzicht moeten geven in hoe hun algoritmen werken, bijvoorbeeld in het voorsorteren van nieuws of zoekresultaten. 54 Aangezien de complexiteit van de algoritmen en de snelheid waarmee computers beslissingen maken zeer groot zijn, is het moeilijk om inzicht in te krijgen hoe een bepaald besluit tot stand is gekomen, en dergelijke besluiten op fouten te controleren en waar nodig te corrigeren. Met het oog op de toepassing van geautomatiseerde analysesystemen in de rechtspraak of de medische wereld is dergelijke controle onontbeerlijk. Hoe wordt er verantwoordelijkheid afgelegd over het besluit dat een computer neemt? Kan bijvoorbeeld het advies wat een rechter of aanklager krijgt afhangen van de leverancier waarbij de software is aangeschaft? Om inzicht en controle mogelijk te maken werkt IBM voor Watson aan een systeem dat Watson Paths heet. Hiermee moet het mogelijk worden dat de computer kan toelichten hoe bijvoorbeeld een bepaalde beslissing op medisch gebied tot stand is gekomen.

55 Diakopoulos (2016) heeft een eerste poging gedaan om een transparantie-standaard voor het gebruik van algoritmes te ontwikkelen, om zo controle en toezicht op algoritmes mogelijk te maken. Hij beschrijft hierin vijf categorieën waarmee rekening moet worden gehouden om transparantie te waarborgen: 1.

Menselijke betrokkenheid. Helder moet zijn wie (van het bedrijf) controle heeft over het algoritme; wie verantwoordelijk is; en wie de ontwikkelaars zijn van het algoritme.

2.

Data. Helderheid over de kwaliteit, nauwkeurigheid, onzekerheid en volledigheid van de data, en welke data gebruikt worden en welke data gecombineerd worden.

3.

Het model. Helder moet zijn hoe data gecombineerd worden, hoe bepaalde data gewogen worden en welke aannames er gemaakt worden.

4.

Inferentie. Wat is de foutmarge? Bijvoorbeeld: hoeveel ‘false positives’ en ‘false negatives’ zijn er, en zijn die fouten te wijten aan data-input, menselijke betrokkenheid of het algoritme?

5.

Gebruik van het algoritme. Helder moet zijn op welk moment en in welke gevallen een algoritme wordt ingezet.

Het probleem hierbij is echter dat bedrijven zullen claimen dat ze niet precies kunnen aangeven hoe hun algoritme werkt, omdat dit een onderdeel vormt van hun strategie. Door het prijsgeven van de werking van hun algoritme kunnen concurrenten eenvoudig het algoritme overnemen en de bijbehorende diensten aanbieden (Gillespie 2014). Ontwikkelingen in het veld van artificiële intelligentie (AI) maken het vraagstuk van controle en inzicht complexer. Bij zelflerende vormen van AI-systemen kan van tevoren niet worden bepaald hoe ze op bepaalde situaties zullen reageren. Technieken zoals Deep Learning (Zie kader 2.5 in hoofdstuk 2), waarin verschillende lagen van neurale netwerken worden gebruikt, maken het moeilijk om transparantie te bieden en uit te leggen waarom een systeem een bepaalde beslissing neemt. Dat leidt tot zorgen over hoe controle en verantwoording moet worden afgelegd bij de inzet

54 55

bmwi.de/DE/Presse/pressemitteilungen,did=764540 research.ibm.com/cognitive-computing/watson/watsonpaths.shtml#fbid=T7yOxG_VXYP

72

Opwaarderen

van AI-systemen (Royakkers & Van Est 2015; Helbing et al. 2015). Op de langere termijn zijn er ook zorgen over hoe een zich steeds verder doorontwikkelende AI nog gecontroleerd kan worden door mensen. Zo waarschuwden onder andere internetondernemer Musk en wetenschapper Hawking voor de existentiële dreiging van superintelligente AI (Gibbs 2014; Hawking et al. 2014). Maar ook minder geraffineerde vormen van automatische systemen kunnen voor onvoorziene en lastig te controleren problemen zorgen, in het bijzonder wanneer diverse systemen op een complexe wijze interacteren. Een bekend voorbeeld is de zogenaamde Flash Crash die plaats vond op 6 mei 2010. Door een onvoorzien samenspel van factoren begonnen verschillende geautomatiseerde handelssystemen (die worden ingezet in high frequency trading) in enkele seconden grote hoeveelheden aandelen te verkopen waardoor de beurs in enkele minuten miljarden aan waarde verloor om vervolgens de volgende minuten weer grotendeels te herstellen.

Rechtvaardigheid: discriminatie en onterechte uitsluiting Beoordelingen en geautomatiseerde beslissingen van computers zijn niet feilloos. Fouten in gegevens of verkeerde aannames in een analysemodel kunnen leiden tot een verkeerd oordeel, Dat kan leiden tot ongewenste vormen van discriminatie en uitsluiting door het computersysteem. Het hiervoor beschreven gebrek aan inzicht en transparantie van beslissystemen, maken het moeilijk om in te schatten wanneer een systeem ernaast zit. Voor het individu is het daardoor vaak lastig om tegen het systeem bezwaar aan te tekenen. Dit wordt geïllustreerd door de praktijk van geautomatiseerde kredietwaardigheidsbeoordeling in de Verenigde Staten (Citron & Pasquale 2014). Om te bepalen of iemand geschikt is voor een lening maken veel geldverstrekkers gebruik van geautomatiseerde systemen die op basis van gegevens uit verschillende bronnen een kredietscore berekenen. De gegevens die hiervoor worden gebruikt, en de manier waarop ze worden geanalyseerd zijn voor het publiek niet inzichtelijk; transparantie zou namelijk het bedrijfsgeheim van de beoordelaar kunnen schaden. Hoewel de scores een significante foutmarge hebben, wordt de analyse van de computer vaak blindelings opgevolgd.

Omdat de logica achter een bepaalde beslissing niet inzichtelijk is voor klanten is het moeilijk om bezwaar te maken en aan te tonen waar het systeem fout zit (Citron & Pasquale 2014). Geautomatiseerde systemen brengen een risico op verkeerde oordelen met zich mee. In verschillende studies wordt gewaarschuwd voor onterechte uitsluiting en discriminatie door geautomatiseerde systemen (Zarsky 2013, Podesta et al. 2014, Citron & Pasquale 2014). Door middel van profilering worden mensen in bepaalde categorieën ingedeeld die elk een andere behandeling krijgen. Vanuit het oogpunt van service kan dit voor maatwerk en gemak zorgen. Maar wanneer bepaalde (groepen) mensen hierdoor structureel worden benadeeld is dat problematisch. Zo bleek dat vrouwen die zochten op banen minder vaak advertenties voor hoge functies te zien kregen dan mannen met een gelijk profiel (Datta 2015). Zelfs wanneer geen gebruik wordt gemaakt van gegevens over ras of geloof kan er middels andere variabelen die hier sterk mee correleren toch discriminatie plaatsvinden (Hildebrand 2016:202). Het profiel dat aan iemand kleeft vanwege zijn gedragshistorie kan zijn opties voor de toekomst beïnvloeden.

Dat kan leiden tot een self-fulfulling prophecy: iemand met een goede kredietscore krijgt makkelijk een lening en kan makkelijker aan zijn financiële toekomst werken, terwijl iemand die een hoger risico vormt en aan striktere voorwaarden moet voldoen daardoor ook mogelijk eerder in de problemen komen met terugbetalingen (Citron & Pasquale 2014). De Autoriteit

Rathenau Instituut

73

Persoonsgegevens waarschuwt voor ‘digitale predestinatie’, 56 het gevaar dat mensen niet meer kunnen ‘ontsnappen’ aan het digitale profiel dat over hen is opgesteld. Wanneer methoden van profilering en risico-inschatting ook worden ingezet in het veiligheidsdomein, bijvoorbeeld om mogelijke fraudeurs of criminelen op te sporen, komt ook het vermoeden van onschuld onder druk te staan (WRR 2016). Waar normaal pas na een verdenking gegevens over mensen worden verzameld, creëert big data de mogelijkheid dat er al gegevens en risicoprofielen worden opgesteld voordat er een daadwerkelijke verdenking is. De verregaande mogelijkheden die in het veiligheidsdomein door big data en voorspellende algoritmen worden gecreëerd moeten volgens de WRR (2016) daarom samen gaan met extra toezicht en bescherming van fundamentele rechten.

Machtsverhoudingen: verhoudingen private en publieke partijen Big data, slimme algoritmen en AI zorgen voor verschuivingen in machtsverhoudingen in de relatie tussen bedrijven, overheden en burgers. De ‘publieke ruimte’ op het internet – bestaande uit bijvoorbeeld sociale netwerken – is veelal in private handen. Alle interacties die in die pseudopublieke ruimte plaatsvinden, zijn daardoor eigendom van de platformen, en de informatie die daaruit gegenereerd wordt, kan naar wens worden gebruikt of doorverkocht. En de voorwaarden waaronder interacties plaatsvinden, en welke uitingen wel of niet gewenst zijn, kunnen naar believen door de platformbeheerder worden gewijzigd. Zo is er veel ophef geweest over beslissingen van Facebook om bepaalde uitingen op het platform te verwijderen. Critici stellen dat de huidige situatie leidt tot een vorm van digitaal feudalisme (Meinrath et al. 2011, Balkan 2013, Zuboff 2015, Helbing et al. 2015); een situatie waarin de persoon het eigenaarschap over zichzelf – zijn digitale representatie – kwijt is. Overheden verzamelen ook steeds meer gegevens over burgers. Helbing et al. (2015) beschrijven een toekomstscenario van big nudging, waarbij overheden met behulp van data het gedrag van burgers proberen bij te sturen.

Het meest in het oog springende voorbeeld hiervan komt van de Chinese overheid, die van alle burgers een citizen score bijhoudt, die een rol speelt bij het bepalen of iemand in aanmerking komt voor bijvoorbeeld een lening, een visum of baan. De dataverzameling door overheden zorgt voor een groeiende informatie-asymmetrie tussen de burger en de overheid, waarbij de burger steeds transparanter wordt en de overheid voor de burger ondoorzichtiger wordt. In de relatie tussen overheden en bedrijven schuren bedrijven meer tegen publieke taken aan. In dit licht is de rechtszaak interessant waarin Apple werd opgedragen om de FBI te helpen bij het kraken van een iPhone van Syed Rizwan Farook, één van de schutters bij de schietpartij in San Bernardino in december 2015 waarbij 14 doden en 22 zwaargewonden vielen. De FBI wilde met brute kracht de telefoon uitlezen door heel snel achter elkaar alle mogelijke combinaties van cijfers en letters in te voeren op de telefoon. Een iPhone wist zichzelf echter wanneer er tien keer een verkeerde toegangscode wordt ingevoerd. Apple werd opgedragen mee te helpen software te ontwikkelen die dit kon omzeilen. Volgens Apple zal dit een gevaarlijk precedent scheppen, want wanneer deze software in verkeerde handen komt, kan diegene iedere Phone uitlezen. Apple vreesde dat op den

56

autoriteitpersoonsgegevens.nl/nl/nieuws/cbp-meer-privacywaarborgen-noodzakelijk-bij-toepassingen-big-data

74

Opwaarderen

duur de eis van de FBI ‘would undermine the very freedoms and liberty our government is meant to protect.’

57

Uiteindelijk wist de FBI samen met een hacker de iPhone van de San Bernardino-schutter zonder de hulp van Apple te kraken. Desondanks toont het voorbeeld dat grote bedrijven, zoals Apple, een sterke machtspositie hebben en een sterke vinger in de pap hebben in hoe hun infrastructuur gebruikt mag worden.

3.6

Conclusie

Hierboven beschreven we welke maatschappelijke en ethische vragen er door de digitalisering van de samenleving worden opgeroepen. Daarbij beperkten we ons tot kwesties die samenhangen met ontwikkelingen binnen de in het vorige hoofdstuk geselecteerde technologiegebieden: robotica, Internet of Things, biometrie, persuasieve technologie, platformen, augmented en virtual reality, big data, algoritmen en AI. In deze slotparagraaf vatten we samen welke maatschappelijke en ethische vraagstukken naar voren zijn gekomen en bespreken we welke trends en ontwikkelingen daarin zichtbaar zijn. Dat doen we aan de hand van de zeven overkoepelende thema’s die we aan het begin van dit hoofdstuk hebben onderscheiden. Om het belang van deze ethische en maatschappelijke issues te onderstrepen bespreken we kort de samenhang met belangrijke waarden die vastgelegd zijn in internationale verdragen en grondrechten. Daarnaast laten we zien hoe de maatschappelijke en ethische thema’s samenhangen met een sterke toename in het verzamelen van data, het analyseren van data en het toepassen daarvan, of met andere woorden, een toename van activiteit in elk van de drie fasen van de cybernetische loop die we in hoofdstuk 2 introduceerden.

3.6.1

Overzicht van maatschappelijke en ethische vraagstukken

Tabel 3.2 (volgende pagina) geeft per overkoepelend thema een overzicht van de maatschappelijke en ethische vraagstukken die worden opgeroepen door diverse technologische ontwikkelingen op het gebied van digitalisering. In deze subparagraaf lichten we dit overzicht kort toe. Privacy Privacy is het issue dat het meest prominent naar voren komt. Uit de bespreking wordt duidelijk dat privacy over meer gaat dan alleen gegevensbescherming. We zien dat er door pervasive en alomtegenwoordige monitoring – door slimme apparaten, robotica en biometrische identificatie – en technieken zoals profilering, nieuwe vraagstukken opkomen rond privacy. Het huidige regime waarbij de gebruiker verantwoordelijk is om via toestemming zijn datastromen te controleren, lijkt niet adequaat voor een toekomst waarin het individu is omgeven door tientallen slimme Internet-ofThings-apparaten met hun eigen datastromen. Daar komt bij dat de reikwijdte van de digitalisering groter wordt. Biometrische technologie zorgt ervoor dat er allerlei informatie, soms zelf van een afstand, van het gezicht en het lichaam afgelezen kan worden, met of zonder toestemming van het individu. Het aflezen van mentale gemoedstoestand uit micro-expressies op het gezicht kan een

57

apple.com/customer-letter

75

Rathenau Instituut

bedreiging vormen voor mentale privacy; het vermogen om onze gedachten en gevoelens privé te houden. Tabel 3.2 Maatschappelijke en ethische vraagstukken bij digitalisering

Thema

Vraagstukken

Privacy

Gegevensbescherming, privacy, digitaal huisrecht, mentale privacy, surveillance, doelverschuiving

Autonomie

Keuzevrijheid, vrijheid van meningsuiting, manipulatie, paternalisme

Veiligheid

Informatieveiligheid, identiteitsfraude, fysieke veiligheid

Controle over technologie

Controle en inzicht in algoritmen, verantwoordelijkheid, onvoorspelbaarheid

Menselijke waardigheid

Dehumanisatie, instrumentalisering, deskilling (afleren van vaardigheden), desocialisatie, technologische werkeloosheid

Rechtvaardigheid

Discriminatie, uitsluiting, gelijke behandeling, stigmatisering

Machtsverhoudingen

Oneerlijke concurrentie, uitbuiting, relatie burger-overheid-bedrijf

Rathenau Instituut

Autonomie Autonomie is sterk gerelateerd aan privacy als voorwaarde voor een ongehinderde ontwikkeling van de eigen identiteit. Juist de opkomende uitdagingen op het gebied van privacy – zoals continue monitoring door Internet-of-Things-apparaten – schuren tegen autonomie aan. In hoeverre kan een kind zich nog ongehinderd ontwikkelen als het weet dat de slimme Barbie zijn speelgedrag registreert? Het vraagstuk van autonomie neemt een belangrijker plaats in naarmate technologie meer beslissingen voor mensen voorsorteert, invult of overneemt. Juist die ontwikkeling is duidelijk zichtbaar in allerlei domeinen: online platformen die informatie voorsorteren, slimme omgevingen die op gedrag anticiperen, persuasieve technologie die op bewust en laagbewust niveau invloed kan uitoefenen en robotica die taken deels of volledig overneemt. Het vraagstuk van autonomie waarbij menselijke beslissingsruimte en keuzevrijheid nog bestaat, lijkt daarmee een steeds belangrijker thema te worden. Veiligheid Digitalisering biedt mogelijkheden om systemen veiliger in te richten, bijvoorbeeld door data lokaal op te slaan of door versleuteling waardoor alleen informatie die strikt nodig is beschikbaar is. Tegelijkertijd introduceert digitalisering ook nieuwe kwetsbaarheden.

Informatieveiligheid en cybersecurity zijn al jaren een belangrijk thema in de digitalisering, maar de huidige ontwikkelingen laten zien dat cyberveiligheid – doordat steeds meer apparaten en diensten aan het internet worden verbonden – een veel grotere fysieke dimensie krijgt. De impact ontstijgt daarmee het niveau van datalekken en misbruik van gegevens, en verschuift naar een nieuw niveau van gehackte auto’s waarvan de besturing overgenomen kan worden en pacemakers die tot fatale schokken kunnen worden aangezet. Voor onze fysieke veiligheid wordt het daarom steeds belangrijker dat de veiligheid en het functioneren van digitale systemen goed gewaarborgd wordt.

76

Opwaarderen

Controle over technologie Naarmate er meer processen aan computersystemen worden uitbesteed, wordt de vraag belangrijker hoe menselijke controle over dergelijke systemen kan worden ingericht. Het gaat immers om systemen die medische diagnoses stellen, adviseren en ondersteunen in de rechtspraak, of bij autonome wapentechnologie zelfs beslissingen nemen over leven of dood. Inzicht in de manier waarop deze systemen tot een bepaalde beslissing komen is cruciaal om deze besluiten te kunnen verantwoorden, en om fouten te signaleren en tegen te gaan, bijvoorbeeld wanneer een systeem een onjuiste medische diagnose stelt door een fout in de software of de data. Het samenspel van het toenemend aantal handelende systemen zorgt voor een nieuwe laag van complexiteit, en mogelijke onvoorziene effecten: dat geldt voor de individuele burger waarbij het slimme huis vastloopt door de interacties tussen verschillende ‘slimme’ apparaten, maar ook op maatschappelijk niveau wanneer de beurs crasht door autonoom handelende algoritmen. Menselijke waardigheid Op het vlak van menselijke waardigheid zien we dat digitalisering en automatisering – in de vorm van robotica – een rol kunnen spelen in het ontlasten van de mens van ‘onmenselijk’ werk. Tegelijk zijn er ook zorgen dat AI en robotica steeds meer werk kunnen en zullen overnemen van mensen en dat dat zal leiden tot werkeloosheid.

Maar er zijn ook subtielere effecten als gevolg van het overnemen van taken door technologie: het afnemen van morele vaardigheden (deskilling) als persuasieve systemen ons richting moreel juist gedrag sturen, of desocialisatie doordat mensen virtuele interacties prikkelender en prettiger vinden dan lastige sociale interacties in de fysieke wereld. Rechtvaardigheid Digitalisering zorgt ervoor dat mensen en hun gedrag op allerlei manieren worden geanalyseerd. Daarbij is ook de computer geen onbevooroordeelde beoordelaar, aangezien deze altijd door mensen geprogrammeerd is vanuit bepaalde doelen, veronderstellingen en ideeën. Met het toenemende aantal analyses groeien ook de zorgen over discriminatie, gelijke behandeling en onterechte uitsluiting van mensen. Mensen kunnen op basis van hun profiel toegang tot een lening worden ontzegd, een hogere prijs moeten betalen voor hetzelfde product, of worden aangemerkt als verdachte. Fouten in analyses en profilering kunnen grote consequenties voor individuen hebben en dat is niet wenselijk. Het is tevens zeer onwenselijk dat door profilering systematisch bepaalde groepen mensen worden benadeeld. Een bijkomend probleem is dat er bij geautomatiseerde analyses weinig inzicht is op hoe die analyses tot stand zijn gekomen. Ook in het geval van een foutief oordeel is het moeilijk voor een individu om zo’n fout in een systeem recht te zetten.

Kafkaëske scenario’s liggen daarbij op de loer. Machtsverhoudingen Machtsverhoudingen zijn in de digitalisering een belangrijk maatschappelijk vraagstuk. Tussen consumenten en bedrijven verandert de relatie doordat producten meer als een dienst worden aangeboden in het Internet of Things. Daarin is zichtbaar dat software een steeds belangrijkere rol speelt in dagelijkse producten en diensten. Degene met de zeggenschap over die software kan in de programmatuur bepalen hoe ze wel of niet gebruikt kan worden, ‘Code is Law’, noemt de Amerikaanse rechtenprofessor Lessig (2006) dat. De machtspositie van een aantal belangrijke internetbedrijven zorgt ook voor discussies over de afhankelijkheid en de positie als

Rathenau Instituut

77

toegangsbeheerder – tot informatie of diensten – die deze bedrijven verwerven. Maar digitalisering verandert ook de relatie tussen burger en overheid, zoals we zien in overheidssystemen waarmee de overheid meer op burgers probeert te anticiperen, zoals door middel van preventief politiewerk (predictive policing) of het hierboven genoemde SyRI-systeem. De machtsverhouding verschuift doordat de burger transparanter wordt terwijl de overheid juist ondoorzichtiger wordt.

3.6.2

Verzamelen én analyseren én toepassen

De discussie omtrent digitalisering richt zich sinds de jaren zeventig voornamelijk op maatschappelijke en ethische vraagstukken die samenhangen met het op grote schaal verzamelen van gegevens (Van Est et al. 2016). Op dat vlak gaat het met name om privacy. Voor dat thema is ook vanuit regulering en toezicht traditioneel veel aandacht. Denk bijvoorbeeld aan de Wet bescherming persoonsgegevens (Wbp), de meldplicht datalekken en de Europese dataprotectieverordening. In de toekomst blijft data verzamelen een belangrijk onderwerp aangezien monitoring door de opkomst van het IoT, robotica en biometrie naar een nieuw niveau wordt getild. Naast het verzamelen van gegevens roepen de analyse, en toepassing van data inmiddels vele vragen op. Als we het hebben over profilering komen we in het domein van de analyse terecht. Hier hangen vraagstukken mee samen op het gebied van rechtvaardigheid en discriminatie. Evenals de zorgen over de ondoorzichtigheid van die analyses. Controle en toezicht op algoritmes wordt steeds belangrijker naarmate ze in steeds meer domeinen (op de weg, gezondheidszorg, rechtspraak, ecommerce) worden ingezet om beslissingen te ondersteunen, of zelfs over te nemen. Daarmee maken we de stap naar de derde fase van de cybernetische loop, de toepassing.

Hier komen we op het niveau van de interventies terecht, en krijgen we te maken met de vraagstukken omtrent individuele autonomie en de controleerbaarheid van technologie. In hoeverre keuzes voor ons voorgesorteerd en genudged worden door software, welke taken we uit willen besteden aan robotica en welke niet, wat er nog overblijft aan menselijk werk en wat dat betekent voor menselijke waardigheid. Naast het verzamelen van gegevens lijken de nieuwe uitdagingen van digitalisering voor de komende jaren dus juist op het vlak van de analyse en toepassing van die digitale gegevens te liggen. Als we kijken naar het geheel van de hier beschreven kwesties wordt duidelijk dat de impact van digitalisering niet onderschat kan worden. Het perspectief dat de impact van digitalisering om aandacht vraagt, wordt onderstreept doordat de centrale ethische thema’s samenhangen met belangrijke waarden die zijn vastgelegd in internationale verdragen en de Nederlandse Grondwet. Kwesties zoals privacy en rechtvaardigheid zien we onder andere terug in het recht op eerbiediging van de persoonlijke levenssfeer, het recht op gelijke behandeling en het recht op een eerlijk proces.

Menselijke waardigheid en veiligheid zijn geen onderdeel van de Nederlandse Grondwet maar worden wel benoemd in internationale verdragen zoals het Handvest van de grondrechten van de Europese Unie (EU-Handvest) en de Universele Verklaring van de Rechten van de Mens (UVRM). Waarden zoals autonomie, gelijke machtsverhoudingen en controle over technologie worden niet expliciet benoemd in verdragen maar kunnen worden gezien als onderdeel van of volgend uit deze

78

Opwaarderen

grond- en mensenrechten. Digitalisering raakt dus belangrijke publieke waarden. Dat maakt ook de governance van deze ethische en maatschappelijke vraagstukken tot een belangrijke uitdaging.

Rathenau Instituut

79

4 Governance in historisch perspectief 4.1

Inleiding

Wetenschap en technologie worden in de westerse samenleving gezien als belangrijke bronnen van economische en maatschappelijke vooruitgang, maar leiden ook vaak tot publieke en politieke discussies over bijvoorbeeld fysieke risico’s of ethische grenzen. Voorbeelden hiervan zijn discussies over onderzoek met menselijke embryo’s of genetische modificatie van voedsel en dieren. Deze onderwerpen hebben diverse malen geleid tot reflectie vanuit de overheid over de manier waarop op een systematische wijze kan worden omgegaan met ethische en maatschappelijke kwesties die samenhangen met nieuwe technologische mogelijkheden. Daarbij kwam steeds de vraag naar voren in hoeverre de bestaande institutionele inbedding adequaat is dan wel aanscherping behoeft. In dit hoofdstuk willen we zicht krijgen op hoe we in algemene zin het governance-ecosysteem van maatschappelijke en ethische kwesties die ontstaan door technologie kunnen begrijpen. Kader 4.1 licht de betekenis van het begrip governance toe. We richten ons vooral op de structuur en werking van het governance-ecosysteem, en de rol van commissies daarin.

We doen dit door een historisch overzicht te maken van hoe we in Nederland de afgelopen halve eeuw politiek-bestuurlijk en maatschappelijk zijn omgegaan met maatschappelijke en ethische kwesties rond vier technologische ontwikkelingen: ICT, biotechnologie, medisch-wetenschappelijk onderzoek met menselijke proefpersonen (mensgebonden onderzoek) en met dieren (dierexperimenten). 58 Deze vier thema’s dekken niet alle wetenschappelijke en technologische ontwikkelingen die maatschappelijke en ethische vragen oproepen. Maar de beschrijving is breed genoeg om een algemeen conceptueel kader op te stellen over een governance-ecosysteem van ethische en maatschappelijke kwesties rond technologische ontwikkelingen. Het historisch overzicht laat tevens zien wat voor soort commissies in het verleden zijn ingesteld op de vier gebieden, wat voor commissies dat waren, en welke rol zij vervulden in dit ecosysteem. In het volgende hoofdstuk gebruiken we dit conceptuele kader om te zien hoe het governance-ecosysteem van ethische en maatschappelijke kwesties rond digitalisering op dit moment vorm krijgt. We beschrijven de vier technologische gebieden op chronologische wijze, van decennium naar decennium. Om te zorgen dat de lezer zicht houdt op de samenhang tussen de vele gebeurtenissen door de jaren heen, verwijzen we regelmatig naar gebeurtenissen die een decennium eerder of later plaatsvinden.

58

Het Rathenau Instituut is sinds 1986 onderdeel van het governance-ecoysteem rond maatschappelijke en ethische kwesties van technologie. Het Instituut heeft als taak publieke en politieke meningsvorming over wetenschap en technologie te stimuleren. In de analyse van het ecosysteem rond de vier technologische gebieden benoemen we daarom ook de activiteiten van het Rathenau Instituut.

80

Opwaarderen

Kader 4.1 De betekenis van publieke governance Governance is een meerduidig concept dat in omvangrijke literatuur wordt beschreven. In Appendix B introduceren we verschillende inzichten en begrippen uit die literatuur die relevant zijn voor de aanpak van deze studie. In dit kader vatten we enkele van die begrippen kort samen. Governance is gericht op het aanpakken van publieke problemen. Dat zijn problemen die slechts via collectieve actie opgelost kunnen worden (vgl. Hoppe 2010). Het gaat daarbij enerzijds om het vinden en agenderen van problemen en anderzijds om het oplossen daarvan. Het begrip governance impliceert dat de overheid niet als enige behartiger van publieke belangen gezien wordt en dat sturing van de samenleving niet alleen plaatsvindt via formele instrumenten, zoals wet- en regelgeving. De overheid opereert niet geïsoleerd, maar samen met anderen in meer horizontale verhoudingen (NSOB & PBL 2014). De overheid is dus een netwerkpartner en stuurt in interactie met andere partijen. Ze maakt daarbij gebruik van een mix van diverse formele en informele praktijken, zoals stimulering van publiek debat, onderhandelingen, samenwerking, gezamenlijke visievorming en vorming van allianties (cf. Van Kersbergen & Van Waarden 2004, pp. 151-152). Diverse governance-begrippen verwijzen naar bepaalde typen van interactie tussen de overheid en maatschappelijke actoren.

Vormen van governance zijn onder meer van multistakeholder governance of netwerk governance, multi-level governance en deliberatieve governance (Hajer et al. 2004). Bij netwerk governance ontwikkelen actoren uit het bedrijfsleven, de maatschappij en de overheid een gezamenlijke aanpak voor een kwestie die hen allen aangaat, maar te complex is om zonder samenwerking effectief aan te pakken. Bij netwerk governance vindt er meer horizontale afstemming plaats tussen stakeholders en worden gezamenlijke besluiten vastgelegd in ‘akkoorden’ (NSOB & PBL 2014, p. 21). Naast interactie tussen publieke en private actoren, vragen vele kwesties ook om overleg tussen diverse bestuurslagen, zoals Europees, nationaal, regionaal en lokaal. Dit wordt multi-level governance genoemd. Daar waar het specifiek gaat om de interactie tussen overheidspartijen, burgers en maatschappelijke groepen gebruikt men vaak de term deliberatieve governance. In Nederland werkt de overheid al zeer lang samen met diverse actoren uit de samenleving. De afgelopen decennia is de behoefte aan governance gegroeid vanwege digitalisering, privatisering en internationalisering (Hajer et al. 2004). Governance kan ook een reactie zijn op publiek verzet, gebrek aan draagvlak, institutioneel wantrouwen of de complexiteit van vraagstukken. Governance draait dus niet alleen om het handelen van de overheid.

Het is daarom van belang om oog te hebben voor het gehele systeem aan governance-arrangementen in de samenleving om publieke problemen te agenderen en daarvoor oplossingen te vinden. Dat vraagt om een diverse set aan instituties en bestuurlijke en maatschappelijke processen.

Rathenau Instituut

81

Tezamen vormt die set een zogeheten governance-ecosysteem: het geheel aan governancearrangementen rondom een bepaald publiek probleem. Hoppe (2004) spreekt van metagovernance omdat het hier gaat om de governance van de governance van problemen, oftewel de inrichting van het governance-ecosysteem waarmee collectieve problemen benoemd en geadresseerd kunnen worden. Voor onze aanpak is het onderscheid tussen governance en meta-governance van belang. Met betrekking tot de governance gaat het om vragen als: Welke publieke problemen zijn gesignaleerd? Welke belangen of waarden zijn goed of minder goed gearticuleerd? Hoe discussiëren burgers en politici over deze problemen? Hoe zijn problemen al dan niet politiek geagendeerd? Welke partijen zijn betrokken geweest bij het debat en de vormgeving van beleid? Welke oplossingen zijn aangedragen en geïnstitutionaliseerd? Met betrekking tot de meta-governance gaat het om vragen als: Welke instituties zijn er om te discussiëren over publieke problemen en deze politiek aan te kaarten? Op welke manieren vindt afstemming plaats tussen publieke en private actoren en tussen overheden, burgers en maatschappelijke organisaties? Op welke wijze worden publieke waarden institutioneel geborgd? Welke instituties zijn er door de jaren heen opgebouwd om dat te doen? Hoe ziet het governance-ecosysteem rond een bepaalde kwestie er uit?

4.2

Jaren 1970: maatschappelijke en ethische zorgen over wetenschap en technologie

Biotechnologie: recombinant DNA-technologie en de Brede DNA Commissie In de jaren zeventig groeide op verschillende fronten de kritiek op wetenschap en technologie. De uitvinding van recombinant-DNA-technologie leidde na de Asilomar-conferentie in 1975 tot ethische discussies in kleine kring. In reactie stelde de Nederlandse regering de Brede DNA Commissie (1981-1983) op om zich te buigen over de mogelijke toepassingen en over maatschappelijke en ethische aspecten van recombinant-DNA-onderzoek. We zullen zien dat de bio- of gentechnologie de gemoederen tot op de dag van vandaag bezighouden. Dierexperimenten: Wet op de dierproeven In de loop van twintigste eeuw nam het gebruik van dieren binnen de biomedische wetenschappen enorm toe (Swart et al. 2004). In 1908 waren bij dierproeven minder dan vijfduizend dieren betrokken, in 1978 circa anderhalf miljoen. Om deze trend te keren werd in 1977 de Wet op de dierproeven (Wod) aangenomen. Beschermwaardigheid van het dier werd het uitgangspunt van deze wet. De wet bepaalde dat inrichtingen voor dierproeven een vergunning moesten hebben.

Om in aanmerking te komen voor een vergunning moest een inrichting voldoen aan verschillende verplichtingen: de registratie van dierproeven en proefdieren, het formuleren van deskundigheidseisen voor onderzoekers, biotechnici en dierverzorgers, en het aanstellen van een deskundige die toezicht houdt op het welzijn van de proefdieren (Swart et al. 2004). De opbouw van dit systeem nam twee decennia in beslag. Als onderdeel van dat proces richtten tal van

82

Opwaarderen

vergunninghouders begin jaren tachtig vrijwillig een interne Dierexperimentencommissie (DEC) op. 59 ICT: privacy als nieuw grondrecht, de Wet persoonsregistratie en de commissie Rathenau De volkstelling in 1971 veroorzaakte een heftige maatschappelijke discussie over privacy. Dat leidde tot een staatscommissie Cals/Donner (1967-1971) en uiteindelijk in 1983 tot een grondwetswijziging waarbij privacy als een grondrecht toegevoegd (artikel 10). Deze grondwetswijziging legde de basis voor de Wet persoonsregistratie in 1988. 60 Om toe te zien op de uitvoering van deze wet werd de Registratiekamer opgericht. 61 Aan het einde van de jaren zeventig leidde de opkomst van de micro-elektronica (onder meer in de PC) tot brede maatschappelijke zorgen over de werkgelegenheid. In 1978 en 1979 onderzocht een commissie onder leiding van prof. dr. G.W. Rathenau de maatschappelijke gevolgen van microelektronica. Een van de aanbevelingen van de commissie was de wens om de maatschappelijke betekenis van nieuwe technologie systematisch te gaan bestuderen, in jargon technology assessment geheten. De Commissie Rathenau legde daarmee de basis voor de oprichting in 1986 van de Nederlandse Organisatie voor Technologisch Aspectenonderzoek (NOTA, nu het Rathenau Instituut) (zie volgende paragraaf).

4.3

Jaren 1980: institutionalisering van maatschappelijke en ethische omgang met wetenschap en technologie

Bovengenoemde discussies over specifieke technologieën zorgden in de jaren tachtig ook voor politiek-bestuurlijke aandacht voor de vraag hoe in het algemeen maatschappelijke en ethische kwesties systematisch in wetenschaps- en technologiebeleid konden worden verankerd. Het eerste Kabinet-Lubbers (1982-1986) legde in het regeerakkoord vast dat maatschappelijke en ethische consequenties van technologische vernieuwingen beter zichtbaar moesten worden gemaakt (Kamerstukken II 1982-1983, 17555, nr. 7, p. 87). Dit leidde in 1984 tot de Nota ‘Integratie van Wetenschap en Technologie in de Samenleving’ (IWTS-nota; Kamerstukken II 1983-1984, 18424, nr. 2) met als belangrijkste doelstellingen een structurele inbedding van Technology Assessment (TA) in het beleid en meer aandacht voor voorlichting en opinievorming over wetenschap en technologie. Hieruit volgde in 1986 de oprichting van de Nederlandse Organisatie voor Technologisch Aspectenonderzoek (NOTA, in 1994 omgedoopt in Rathenau Instituut). NOTA kreeg de taak onderzoek te doen naar maatschappelijke en ethische aspecten van wetenschap en technologie, om zo de politiek te informeren, maar ook om de publieke discussie over nieuwe

59

Met het Dierproevenbesluit trad in het midden van de jaren tachtig de Wod in haar volle omvang in werking. De Wod voorzag tevens in een permanente Commissie van Advies voor de Dierproeven, die tot taak had de regering op dit terrein te adviseren en de publieke discussie te bevorderen.

60

Sinds 2001 is de opvolger de Wet bescherming persoonsgegevens (Wbp). Sinds 2001 werd de opvolger daarvan, de Wet bescherming persoonsgegevens (Wbp), van kracht. De Wbp is de Nederlandse uitwerking van de Europese richtlijn bescherming persoonsgegevens (95/46/EG).

61

Sinds 2001 het College Bescherming Persoonsgegevens (CBP) en sinds 2016 de Autoriteit Persoonsgegevens (AP). De AP staat voor het grondrecht op bescherming van persoonsgegevens en houdt toezicht op de naleving van de wettelijke regels voor bescherming van persoonsgegevens en adviseert over nieuwe regelgeving

Rathenau Instituut

83

ontwikkelingen te stimuleren. In 1986 werd ook de Stichting voor Publieksvoorlichting over Wetenschap en Technologie (Stichting PWT) opgericht. 62 Dierenexperimentencommissies (DECs) Naar aanleiding van de Wet op de dierproeven (Wod) uit 1977 werden begin jaren tachtig dierexperimentencommissies (DECs) opgericht als een vorm van zelfregulatie. In de loop van de jaren tachtig groeide de behoefte aan uniforme voorwaarden voor een onafhankelijk ethisch beslisproces (Van Boxsel 1991). In 1985 adviseerde de Commissie van Advies voor de Dierproeven over de wettelijke inbedding van DECs (Swart et al. 2004). De Wod werd in 1996 gewijzigd naar aanleiding van EU-regelgeving, en daarmee werden DECs geformaliseerd. Een DEC toetst onder meer of het lijden van de proefdieren opweegt tegen het doel van de proef. Terwijl in 1977 de Wod draaide om de beschermwaardigheid van het dier, werd in 1996 de intrinsieke waarde van het dier het algemeen uitgangspunt van de Wod (Swart et al. 2004). Het advies van een DEC is bindend. Bij een negatief advies kan de vergunninghouder het onderzoeksvoorstel voor een second opinion voorleggen aan de Centrale Commissie Dierproeven (CCD). Indien deze ook negatief oordeelt mag de dierproef niet worden uitgevoerd.

63 Medisch-ethische toetsingscommissies (METCs) Naar Amerikaans voorbeeld stelden begin jaren zeventig enkele academische ziekenhuizen in Nederland op eigen initiatief medisch-ethische toetsingscommissies (METCs) in. In de tweede helft van de jaren tachtig nam het aantal instellingen met een METC drastisch toe, maar er was een gebrek aan uniforme criteria voor ethische toetsing (Van Boxsel 1991). Vanuit het veld was er behoefte aan een onafhankelijk orgaan ‘op afstand’, dat een second opinion zou kunnen geven bij de toetsing van medisch-wetenschappelijke onderzoeksvoorstellen waaraan bijzonder ethische, juridische en maatschappelijke vraagpunten verbonden waren (KEMO 2004). Eind jaren tachtig was in het ontwerp van de Wet medisch-wetenschappelijk onderzoek met mensen (Wmo) al een dergelijke commissie voorzien. In 1989 werd de Kerncommissie Ethiek Medisch Onderzoek (KEMO) opgericht. Tien jaar en 27 adviezen later werd de KEMO daadwerkelijk opgevolgd door de Centrale Commissie Mensgebonden Onderzoek (CCMO). De CCMO heeft diverse toetsingstaken in het kader van de Wmo (1998) en de Embryowet (2002). De CCMO houdt toezicht op de werkzaamheden van decentrale, erkende METCs.

62

Op 1 januari 1997 fuseerde de Stichting PWT en Stichting Wetenschapsweek en Techniek in de Stichting Weten, die op 1 januari 2005 werd opgeheven.

63

Eind 2014 werd de Europese Richtlijn (2010/63/EU), die betrekking heeft op dierproeven in wetenschappelijk onderzoek, ingevoerd in onze nationale wetgeving. Hierdoor is het organisatorische model voor de beoordeling van dierproeven gewijzigd. Twee organisaties spelen daarbij een rol: de landelijke Centrale Commissie Dierproeven (CCD) en het Nationaal Comité advies dierproevenbeleid (NCad). De CCD is het centrale orgaan dat als enige bevoegd is om projectvergunningen voor het uitvoeren van dierproeven te verlenen. Het NCad is ingesteld voor de bescherming van dieren die worden gebruikt voor wetenschappelijke doeleinden en voor onderwijs. Het NCad wil zowel nationaal als internationaal het proefdiergebruik minimaliseren door het vervangen van dierproeven door diervrije methoden van onderzoek, het verminderen van het aantal proefdieren in onderzoek en het verminderen van het ongerief van proefdieren.

84

Opwaarderen

4.4

Jaren 1990: vermaatschappelijking en regulering van de bio-ethiek

Vermaatschappelijking van de gentechnologie In de jaren negentig laaiden in Nederland en internationaal tal van discussies rondom de toepassing van biotechnologie op. In de jaren zeventig leidde de uitvinding van recombinant-DNAtechnologie tot discussie in kleine kring. In de jaren negentig brachten verschillende concrete toepassingen van genetische technologie de biotechnologie onder de aandacht van een breder publiek. 64 Naast genetische modificatie van micro-organismen kwam de toepassing van gentechnologie voor planten, dieren en mensen onder de aandacht. Een bekende mijlpaal die veel aandacht trok was bijvoorbeeld de geboorte in 1990 van Nederlandse stier Herman, de eerste transgene stier ter wereld. 65 In dit decennium veranderde biotechnologie van iets dat in het lab gebeurde tot iets dat op allerlei manieren maatschappelijke betekenis heeft. Tegelijkertijd stonden wetenschappelijke ontwikkelingen op dit gebied niet stil. Maatschappelijke discussies ontstonden rond het gebruik van genetisch gemodificeerde proefdieren, onderzoek met menselijke embryo’s, het in kaart brengen van het menselijke genoom en het klonen van dieren en mensen. In de eerste helft van de jaren negentig ontstond er vanuit het perspectief van mensenrechten en internationale organisaties veel aandacht voor ontwikkelingen in de humane genetica (zie kader 4.2).

Om de ontwikkelingen van genetische modificatie in Nederland te begeleiden werd in 1990 de (Voorlopige) Commissie Genetische Modificatie opgericht en in 1992 de Voorlopige Commissie Ethische Toetsing Genetische Modificatie van Dieren (later Commissie Biotechnologie bij Dieren). Commissie Genetische Modificatie en Commissie Biotechnologie bij Dieren In 1990 werd de Voorlopige Commissie Genetische Modificatie (VCOGEM) opgericht, die in 1998 werd opgevolgd door de huidige Commissie Genetische Modificatie (COGEM). De taken van de COGEM zijn vastgelegd in de Wet Milieubeheer. De COGEM adviseert de regering over mogelijke risico's van productie en handelingen met genetisch gemodificeerde organismen (ggo's) voor mens en milieu. Ook informeert de COGEM de regering op verzoek van de minister van Infrastructuur & Milieu of uit eigen beweging over ethisch-maatschappelijke aspecten verbonden aan genetische modificatie. Dit gebeurt via signaleringen. In 1992 stelde de minister van Landbouw, Natuurbeheer en Visserij de Voorlopige Commissie Ethische Toetsing Genetische Modificatie van Dieren in, in het kader van de nieuwe Gezondheidsen welzijnswet voor dieren (GWWD). Deze voorlopige commissie moest adviseren over de toelaatbaarheid vanuit ethisch oogpunt van onderzoeksprojecten op het terrein van de genetische modificatie van dieren.

66 In 1997 werd deze voorlopige commissie door middel van het Besluit

64

In 1982 was de eerste synthetische humane insuline op de markt gebracht die met behulp genetisch gemodificeerde E. coli-bacteriën was gemaakt, waarin met recombinant-DNA-technologie menselijk DNA was ingebracht.

65

Andere voorbeelden zijn het eerste gebruik van gentherapie bij mensen in 1991 in Italië en de introductie van het eerste genetisch gemodificeerde voedsel op de Amerikaanse markt in 1994 en twee later in Groot-Brittannië

66

Dit naar aanleiding van de maatschappelijk en ethische discussies over het gebruik van biotechnologie bij dieren (gestimuleerd door de geboorte van de genetisch gemodificeerde stier Herman in 1990).

85

Rathenau Instituut

Biotechnologie geformaliseerd in de Commissie Biotechnologie bij Dieren (CBD). De CBD adviseerde of vergunningen voor genetische modificatie bij dieren konden worden toegestaan. Elke individuele vergunningaanvraag onderging een ethische toets om te bepalen of voldaan werd aan de in wet genoemde voorwaarden. De CBD had als een tweede doel inzicht te krijgen welke biotechnologische handelingen bij dieren voor biomedisch onderzoek ethisch aanvaardbaard zijn. 67

Kader 4.2: Internationale bio-ethische verdragen vanuit mensenrechtenperspectief Raad van Europa en het Verdrag van Oviedo In de eerste helft van de jaren negentig ontstond er vanuit het perspectief van mensenrechten en internationale organisaties aandacht voor ontwikkelingen in de humane genetica. De Parlementaire Vergadering van de Raad van Europa beval in 2001 een Verdrag inzake bio-ethiek voor te bereiden. Die kreeg in 1997 zijn beslag in het Verdrag inzake de rechten van de mens en de biogeneeskunde (Verdrag van Oviedo) opgesteld.

68

Ondanks het

brede toepassingsbereik van het Europees Verdrag voor de Rechten van de Mens (EVRM) achtte de Raad van Europa het noodzakelijk om zich expliciet te richten tot wetenschappelijke en technologische ontwikkelingen; er moest worden gezocht naar een balans tussen vooruitgang en menselijke waardigheid. Artikel 1 beschrijft het doel van het verdrag: ‘De Partijen bij dit Verdrag beschermen de waardigheid en identiteit van het menselijk wezen en waarborgen iedereen, zonder onderscheid, dat zijn integriteit en andere rechten en fundamentele vrijheden met betrekking tot de toepassing van de biologie en de geneeskunde worden geëerbiedigd.’ Het verdrag beperkte zich tot algemene principes. Additionele standaarden en specifieke kwesties moesten geregeld worden in additionele protocollen. Zo werd snel na het nieuws rondom het schaap Dolly, in 1998, het eerste additionele protocol opgesteld, waarin het kloneren van mensen werd verboden. UNESCO Universal Declaration on Bioethics and Human Rights Naast de Raad van Europa, boog ook de United Nations Educational, Scientific and Cultural Organization (UNESCO) zich over de ontwikkelingen in de genetica. In 1993 werd de UNESCO door haar lidstaten gemandateerd om op het gebied van de bio-ethiek standaarden en grenzen te formuleren (Andorno 2006).