Rapport Opwaarderen - borgen van publieke waarden in de digitale samenleving

50

Opwaarderen

vrije ontwikkeling van meningen en identiteit van de bewoners van het huis? Juist dergelijke vragen komen meer op de voorgrond naarmate zich meer slimme en metende apparaten in onze omgeving nestelen.

Autonomie: technologisch paternalisme In het IoT komen de drie stappen van de cybernetische loop samen: verzamelen, analyseren en toepassen. Slimme apparaten met sensoren verzamelen data over gedrag (hoe de thermostaat wordt gebruikt), analyseren gegevens via netwerkconnecties (wanneer iemand thuis is en de verwarming aanzet), en zorgen voor een aanpassing (de verwarming springt automatisch aan voordat iemand thuiskomt). Het brein achter IoT bestaat uit de slimme algoritmes die de data in de cloud (big data) analyseren en een beslissing nemen. In een auto bijvoorbeeld kan een sensor zitten die aangeeft dat de brandstof bijna op is. Vervolgens verschijnt op de vooruit van de auto de route naar het dichtstbijzijnde pompstation. Hier is duidelijk sprake van gebruikersgemak, maar ook voor bedrijven – in dit geval brandstofproducenten – is dit type van zeer gerichte marketing lucratief. Het algoritme zou bijvoorbeeld zo ingericht kunnen zijn dat ze de route toont naar de dichtstbijzijnde pomp van het bedrijf dat het meest betaalt aan de ontwerper van het algoritme. IoT biedt ons niet enkel comfort, maar kan ook neigen naar technologisch paternalisme (Hilty 2015). Van paternalisme is sprake als iemand beter meent te weten wat goed voor anderen is dan deze anderen zelf. Bij technologisch paternalisme wordt het paternalisme ‘gedelegeerd’ aan technologie.

Technologisch is het mogelijk dat een slimme koelkast de bestelling van iemands favoriete kaas zelf aanpast door een magere kaas te bestellen omdat de biometrische sensor gemeten heeft dat de cholesterolwaarden van de betreffende persoon te hoog zijn. De vraag is of de koelkast en de biometrische sensor zo’n beslissing wel samen mogen nemen. Dit soort technologisch paternalisme brengt een serieuze ethische kwestie van IoT met zich mee: het impliciet afdwingen of uitlokken van bepaald gedrag kan de persoonlijke autonomie in gevaar brengen. IoT kan zo bovendien als persuasieve of zelfs als manipulatieve technologie ingezet worden (zie subparagraaf 3.2.2 over persuasieve technologie). Ook wanneer er niet direct sprake is van paternalisme kan de manier waarop een IoT-omgeving ons gedrag beïnvloed onze autonomie inperken. Wanneer een slimme IoT-omgeving op onze wensen en behoeften anticipeert, wordt er een keuze gemaakt over onze veronderstelde voorkeuren – bijvoorbeeld een keuze op bepaalde tv-programma’s voor te stellen – op basis van eerder vertoond gedrag. Met die keuze sorteert de slimme omgeving onze opties voor en stuurt zij aan richting bepaalde keuzes en gedrag. De manier waarop subtiele veranderingen in ons gedrag kunnen worden bewerkstelligd door technologie werd duidelijk in het emotie-experiment van Facebook uit 2014.

Door het aantal positieve en negatieve berichten in de newsfeeds van gebruikers aan te passen, wisten ze de gemoedstoestand van gebruikers te beïnvloeden zonder dat die zich daarvan bewust waren (Kramer et al. 2014). Hildebrandt (2012; 2015) stelt dat een toekomstige generatie technologie zo geraffineerd zou kunnen worden in het uitlezen van onze voorkeuren, dat zij preferenties ontdekt voordat wij onszelf daarvan bewust worden. Ze schetst het scenario van een roker die geprofileerd wordt als iemand die bijna wil gaan stoppen, maar nog niet bewust de knoop heeft doorgehakt en die vervolgens via gerichte advertenties en nieuwsberichten waarin de negatieve effecten van roken worden

51

Rathenau Instituut

bekritiseerd in een andere richting wordt gestuurd. Het verschaffen van transparantie in de profielen waarop automatische beslissingen worden gebaseerd is volgens Hildebrandt een essentiële voorwaarde om de autonomie van het individu te beschermen. De recent aangenomen Europese dataprotectieverordening biedt hiervoor een startpunt, al vormt de uitwerking van de in de verordening opgenomen verordoneerde transparantieverplichtingen op een voor de gebruiker betekenisvolle manier nog een grote uitdaging.

Veiligheid: informatieveiligheid krijgt een fysieke dimensie Digitalisering brengt ook een serieus criminaliteitsprobleem met zich mee: het internet of de apparaten verbonden met het internet zelf kunnen doelwit zijn van criminaliteit, zoals het geval is bij hacken of DDoS (Distributed Denial of Service)-aanvallen waarmee websites of systemen worden platgelegd. De ervaring leert dat vrijwel elk digitaal systeem te kraken is. Dat betekent dat kwaadwillenden toegang kunnen krijgen tot gevoelige gegevens, en dat informatie in de handen van de verkeerde personen kan komen. Een gehackte slimme meter zou inbrekers exact inzicht kunnen geven in de tijdstippen in op de dag of week waarop we de verwarming omlaag zetten en – blijkbaar – afwezig zijn. Behalve voor hen waardevolle informatie onttrekken aan slimme apparaten, kunnen criminelen de besturing van slimme apparaten overnemen. Daarmee krijgt het vraagstuk van veiligheid ook een fysieke dimensie. Zo liet een beveiligingsonderzoeker zien hoe eenvoudig de speelgoedpop Cayla is te hacken en hij liet daartoe de pop passages uit de erotische roman Fifty Shades of Grey en quotes van de fictieve psychopaat Hannibal Lecter uit het boek The Silence of the Lambs citeren.

21

Het hacken van de pop is een relatief onschuldig voorbeeld, maar de Nieuw-

Zeelandse hacker Barnaby Jack liet tijdens een conferentie in 2011 zien dat hij de insulinepomp van een vriend te kon hacken. Hij kon de complete bediening overnemen en was in staat een fatale hoeveelheid insuline toe te dienen. Andere hackers lieten ook al zien dat ze de besturing van een via wifi bestuurde pacemaker konden overnemen en het apparaat een fatale schok af konden laten leveren (Greenberg & Zetter 2015). Hiermee werd de angst van voormalig vicepresident van de Verenigde Staten Dick Cheney bewaarheid, die de wifi-functie van zijn pacemaker liet uitschakelen en het apparaat op een alternatieve wijze ging besturen. In Nederland alleen al lopen er duizenden mensen met een vergelijkbare pacemaker met wifi-functie rond, wat de omvang van de gevolgen duidelijk maakt wanneer criminelen zulke apparaten zouden gaan hacken. Het vraagstuk van beveiliging wordt extra complex doordat in het IoT-apparaten in verbinding met elkaar staan, waardoor een succesvolle hack van een koffiezetapparaat bijvoorbeeld toegang kan verschaffen tot de auto of toegang geven tot de voordeur. Daarnaast zijn dit soort beveiligingsvraagstukken nieuw voor veel producenten van consumentenelektronica, waardoor er niet altijd goed over na wordt gedacht.

‘When you put technology on items that haven’t had it before, you run into security challenges you haven’t thought about before’, vat hacker Runa Sandvik het samen (Greenberg & Zetter 2015).

Controle: onvoorspelbare netwerkeffecten Naast de controle over data is het aspect van controle in relatie tot het IoT op een andere manier relevant. Niet alleen het aantal IoT-apparaten stijgt de komende jaren sterk, ook het aantal

21

mirror.co.uk/news/technology-science/technology/friend-cayla-doll-can-hacked-5110112

52

Opwaarderen

mogelijke interacties tussen deze apparaten onderling neemt toe. Zoals hiervoor beschreven levert dat mogelijk veiligheidsissues op omdat een slecht beveiligd apparaat toegang kan verschaffen tot een ander apparaat. Het levert echter ook onverwachte en onvoorspelbare interactie-effecten op tussen de apparaten zelf. Zo liep het slimme huis van een computerwetenschapper in Berlijn vast – het reageerde op geen enkel commando; lichten, keukenapparatuur en verwarming konden niet meer aan of uit – omdat een van de slimme lampen was doorgebrand en het huis-netwerk had platgelegd door een onophoudelijke stroom berichten te versturen dat de lamp vervangen wilde worden (Hill 2015). Wie er verantwoordelijk is voor de gevolgen van dit soort onverwachte effecten op systeemniveau is bovendien nog onduidelijk (Weber 2011).

Machtsverhoudingen: ‘Everything-as-a-service’ Internet-of-Things-apparaten worden vaak aangeboden als onderdeel van of in combinatie met een software-dienst. Zo wordt een slimme televisie of slimme koelkast in combinatie met softwareondersteuning verkocht. De mogelijkheden van het product liggen voor een belangrijk deel besloten in de bijbehorende software. Zo is de mogelijkheid om de koelkast ’s ochtends de agenda voor de komende dag te laten weergeven afhankelijk van de software-ondersteuning van de producent. De producent van het apparaat kan besluiten te stoppen met het aanbieden van ondersteuning voor oudere apparaten, waardoor ze deels of helemaal niet meer werken. De Electronic Frontier Foundation trok aan de bel omdat consumenten die voor honderden dollars een slimme homeconsole hadden gekocht met levenslange software-ondersteuning, ineens met een waardeloos product zaten omdat de ondersteuning toch geschrapt werd nadat het bedrijf werd overgenomen door een concurrent (Walsh 2015). Wanneer producten afhankelijker zijn van door de producent beheerde software, versterkt dat de controle die producenten hebben over producten en hoe die gebruikt kunnen worden. Daarnaast is een trend zichtbaar dat producten zelf als dienst worden aangeboden. Dit wordt ‘servitization’ genoemd. Een voorbeeld is dat de consument geen lampen meer koopt, maar licht afneemt als een dienst.

Hij schaft geen wasmachine meer aan, maar neemt wassen als een dienst af. De producent is verantwoordelijk voor het onderhoud van de apparaten, de consument hoeft alleen een periodieke vergoeding te betalen. Voorstanders bepleiten het gemak dat dit met zich meebrengt, tegenstanders zien dat de zeggenschap van de consument over de eigen omgeving afneemt; iets zelf openschroeven of aanpassen is bijvoorbeeld niet meer mogelijk. De producent houdt het eigenaarschap en kan ten alle tijden besluiten iets aan het product te wijzigen. Zo besloot Amazon bepaalde eBooks van George Orwell, nota bene de auteur van het boek 1984, van de eReaders van klanten te verwijderen omdat er een conflict over copyright was met de leverancier. Amazon mocht dat doen, omdat klanten de boeken officieel niet kochten, maar in bruikleen hadden van Amazon (Stone 2009).

3.2.2

Robotica

De ontwikkeling van IoT en robotica zijn sterk met elkaar verbonden. Net als IoT-apparaten zijn robots veelal uitgerust met sensoren om hun omgeving te lezen, zijn ze in toenemende mate verbonden met de cloud om data uit te wisselen en te analyseren, en voeren ze op basis van die analyses zelfstandig acties uit. Hoewel sommige vraagstukken daardoor overlappen brengt robotica ook specifieke ethische dillema’s met zich mee.

53

Rathenau Instituut

Privacy: pervasive monitoring Net als het IoT dragen robots bij aan toenemende mogelijkheden tot dataverzameling in situaties waarin voorheen geen (digitale) dataverzameling plaatsvond. Robottechnologieën kunnen op allerlei manieren worden ingezet om bepaalde situaties te monitoren, zoals het wel en wee van patiënten, de gemoedstoestand van een bestuurder van een auto, en de veiligheidssituatie op straat. Als direct gevolg kunnen robottechnologieën op allerlei manieren impact op onze privacy hebben. Zorgrobots en domotica bijvoorbeeld kunnen mensen volgen of de lichamelijke gesteldheid van mensen vastleggen en doorgeven, en maken het zelfs mogelijk dat er 24 uur per dag wordt meegekeken met de zorgontvanger. Deze data geven veel informatie over het dagelijks reilen en zeilen van de zorgontvangers en werpen daardoor vragen op over hun privacy. Zorgontvangers zullen het bijvoorbeeld niet prettig vinden dat wordt vastgelegd wanneer ze nog niet aangekleed zijn of juist in bad gaan.

Deze kwestie wordt complexer als het gaat om dementerende ouderen: in hoeverre kunnen zij aangeven of zij zich bewust zijn van de aanwezigheid van een technologie die hun dagelijks leven vastlegt (Borenstein & Pearson 2010)? Een ander belangrijk issue in relatie tot privacy dat veelvuldig terugkomt bij digitalisering betreft de mogelijkheid dat technologie voor een ander doel wordt ingezet dan oorspronkelijk bedoeld is. Men spreekt ook wel van doelverschuiving of in het Engels van function creep. Dat zien we bijvoorbeeld bij de digitalisering en robotisering van de auto. De Europese Commissie heeft het eCall-systeem – een systeem dat automatisch hulpdiensten alarmeert bij een ongeval – verplicht gesteld voor personenauto’s die vanaf 2018 verkocht worden. Het Europese Parlement heeft geëist dat dit eCallsysteem een ‘slapend bestaan’ leidt en pas in actie komt zodra er een ongeluk plaatsvindt. Dit systeem kan dus niet ingezet worden voor het opsporen van criminelen. Doelverschuiving ligt echter steeds op de loer. De vraag is namelijk of dergelijke mogelijkheden in de toekomst niet toch ook ingezet zullen worden om data te verzamelen voor de opsporing of het voor het handhaven van de (verkeers)veiligheid.

Zo werd bijvoorbeeld in 2011 bekend dat de camera’s die toezicht hielden op vervuilende vrachtwagens binnen Amsterdam ook gebruikt zouden worden om te zien of eigenaren van kentekens iets op hun kerfstok hadden of nog een boete moesten betalen. Volgens Het Parool ging hiermee een langgekoesterde wens van de toenmalige hoofdcommissaris Bernard Welten in vervulling: de realisatie van een ‘digitale slotgracht’ rond de stad.

22

Autonomie: ‘man out-of-the-loop’ In de robotica zien we een verschuiving ‘from in-the-loop to on-the-loop to out-the-loop’ (Sharkey 2010), welke ook merkbaar is in IoT. ‘In the loop’ betekent dat de mens in controle is en menselijke toestemming nodig is om het systeem een actie uit te laten voeren. ‘On the loop’ houdt in dat de mens een beslissing maakt op basis van informatie van het systeem. ‘Out of the loop’ verwijst naar een situatie van volledige automatisering, waarbij het systeem zonder menselijke tussenkomst een beslissing neemt. De verschuiving van in naar on en out the loop wordt in de hand gewerkt door de toename van de hoeveelheid informatie van verschillende bronnen/apparaten die moet worden geïntegreerd en vervolgens moet worden geïnterpreteerd om tot een beslissing te komen. Robots kunnen dit veel efficiënter en effectiever dan mensen, voor wie het haast ondoenlijk is. Dit heeft tot gevolg dat mensen in feite zelf niet meer de beslissingen nemen maar dat overlaten aan

22

Het Parool (7 september 2011), Digitale ring scant alle auto’s.

54

Opwaarderen

technologie. Voorbeelden zijn kennissystemen die medische diagnoses stellen aan de hand van een grote hoeveelheid informatie, militaire robots die beslissen over leven en dood op basis van informatie vanuit verschillende bronnen en rijtaakondersteunende systemen die bijvoorbeeld beslissen welke snelheid we op een bepaald stuk weg moeten rijden. Het roept de vraag op hoe deze systemen tot hun beslissingen komen en of de software van de concurrent dezelfde beslissing zou nemen. Ethische vragen die met betrekking tot autonomie een antwoord behoeven zijn: in welke omstandigheden en in hoeverre mag de persoonlijke autonomie van mensen aangetast worden? Waar blijft de ruimte voor eigen beslissingen? En welke consequenties heeft de aantasting van de persoonlijke autonomie op de rol van de eigen verantwoordelijkheid van mensen? Wat dit laatste betreft, zijn mensen geneigd op de technologie te vertrouwen en daar blind op te varen. Maar wat nu als de technologie faalt – er wordt bijvoorbeeld geen signaal afgegeven als de auto de muur bijna raakt en het gaat mis – wie is daar dan voor aansprakelijk? Door de sterke progressie in kunstmatige intelligentie worden robots steeds autonomer. De vraag die rijst is in hoeverre het ethisch aanvaardbaar is om de verantwoordelijkheid om morele beslissingen te nemen over te laten aan robots.

De discussie speelt al in het gebied van militaire robots en zelfrijdende auto’s. Volgens Arkin (2010) gaat de militaire robot de menselijke militair overtreffen bij het nemen van morele beslissingen, omdat menselijke militairen enorme stress ondervinden op het slagveld, en robots – vrij van stress – minder fouten maken. Het probleem hierbij is dat robots niet ter verantwoording kunnen worden geroepen, en dat is voor veel wetenschappers de reden dat robots nooit over leven en dood mogen beslissen.

23

Het zelfde probleem doet zich voor bij zelfrijdende auto’s. Verkeersongevallen zijn, ook met zelfrijdende auto’s, onvermijdelijk, en dus zal zo’n auto in situaties terecht komen die een morele beslissing vereisen (Goodall 2014). Een mens handelt in zo’n situatie uit een reflex; je kunt onmogelijk verwachten dat hij in een halve seconde een weloverwogen keuze maakt tussen zelf tegen een vrachtwagen aan te rijden of een kind op de stoep omver rijden. Voor een zelfrijdende auto is een halve seconde echter ruim voldoende om verschillende scenario’s door te rekenen. Moet de auto kiezen voor de minste schade voor de inzittenden in die auto of bijvoorbeeld voor de minst totale schade waarbij dus ook rekening wordt gehouden met andere verkeersdeelnemers? De vraag die aan deze kwestie vooraf gaat, is: laten we deze morele beslissing over aan de zelfrijdende auto, of bepalen we van te voren wat deze auto moet beslissen in het geval dat de auto een ongeluk niet kan vermijden? Ook hier zullen veel mensen geneigd zijn die keuze niet aan een apparaat over te laten, maar deze keuze over te laten aan de mens omdat het ook hier gaat over leven en dood. Dat leidt tot de volgende vraag: wie moet de beslissing dan nemen over hoe de zelfrijdende auto zich in dit soort situaties moet ‘gedragen’? De consument, de overheid, de

23

In 2010 werd tijdens de expertworkshop Limiting Armed Tele-Operated and Autonomous Systems, georganiseerd door International Committee for Robot Arms Control (ICRAC), een verklaring ondertekend door een grote meerderheid van de aanwezigen waarin de noodzaak tot beperking van bewapende militaire robots en een verbod op autonome bewapende militaire robots worden benadrukt, met als achterliggende gedachte dat altijd een mens de beslissing moet nemen over leven en dood (icrac.co.uk/Expert%20Workshop%20Statement.pdf). Zie ook de open brief van meer dan duizenden deskundigen inzake AI en robotica uit 2015 (futureoflife.org/open-letter-autonomous-weapons).

Rathenau Instituut

55

ontwerper, of de fabrikant? Dit complex van vragen zal zeker beantwoord moeten worden voordat zelfrijdende auto’s voor de consument beschikbaar zijn.

Veiligheid: hacken van robotica Net als bij het Internet of Things maakt robotica duidelijk dat digitale veiligheid een fysieke dimensie krijgt. De digitalisering van de auto maakt de auto kwetsbaar voor hacken. Virussen kunnen auto’s zo ontregelen dat ze onbestuurbaar worden en ongewenste acties gaan uitvoeren. Door het ‘kraken’ van de auto is het zelfs mogelijk om volledige controle over de auto te krijgen. Hetzelfde verhaal geldt wellicht nog in sterkere mate voor militaire en politie-drones. In 2012 bijvoorbeeld, hebben onderzoekers van de Universiteit van Texas in opdracht van het ministerie voor Binnenlandse Veiligheid laten zien hoe relatief eenvoudig het was om de besturing van een drone 24 over te nemen. Ze gebruikten daarvoor de techniek die bekend staat als spoofing: het ongeautoriseerd toegang verkrijgen tot een apparaat door middel van het vervalsen van de identiteit van diegene die het apparaat bestuurt. In beleidskringen heerst dan ook de vrees voor cyberterrorisme.

Menselijke waardigheid: morele plicht tot robotisering, dehumanisering en werkeloosheid Een kernvraag bij ontwikkeling van robotica is wanneer we haar in willen zetten. De inzet van robots kan een bijdrage leveren aan menselijk welzijn, maar kan ook tot dehumaniserende situaties leiden. De positieve bijdrage die robotica kan leveren ligt bijvoorbeeld in de mogelijkheid dat robots ‘smerig, saai en gevaarlijk’ (dirty, dull & dangerous) werk kunnen overnemen. Bepaalde taken kunnen inderdaad zo smerig, geestdodend of gevaarlijk zijn dat het onwenselijk is om dergelijke taken door mensen uit te laten voeren als het ook mogelijk is om dat door een machine te laten doen. Strawser (2013) vindt het bijvoorbeeld moreel verwerpelijk om een militair een bevel te geven waarbij hij de kans loopt op dodelijk letsel als een militaire robot die taak ook had kunnen uitvoeren. Dit ‘principe van onnodig risico’ leidt tot een ethische verplichting om robotica in bepaalde situaties toe te passen, bijvoorbeeld bij het zoeken naar en ontmantelen van bermbommen. Prostitutie is in Nederland sinds 2000 legaal, maar het blijkt veelal een smerig, gevaarlijk en mensonterend beroep te zijn (Werson 2012). Volgens het Korps Landelijke Politiediensten werkt tussen de vijftig en negentig procent van de 25.000 vrouwen in de prostitutie in Nederland onvrijwillig (KLPD 2008).

Het is een actuele vraag hoe de politiek dergelijke grove en voor de betreffende vrouwen traumatische menselijke misstanden tegen kan gaan. De opkomst van de nieuwe robotica brengt een nieuw perspectief in deze discussie. Ze agendeert namelijk de vraag of seksrobots op termijn een redelijk alternatief kunnen vormen voor menselijke prostitutie. Een volgende stap is dan, bij aanwezigheid van zo’n alternatief, of er gelet op de vele mensonwaardige omstandigheden in de prostitutie dan niet een ethische verplichting moet komen om seksrobots toe te passen. Het ‘principe van onnodig risico’ is van toepassing op verschillende gebieden (Royakkers & Van Est 2015). Robotica biedt tal van mogelijkheden om de veiligheid van het huidige verkeerssysteem te verbeteren. Dat geldt onder meer voor het reeds bestaande ISA-systeem. Deze intelligente

24

bbc.com/news/technology-18643134

56

Opwaarderen

snelheidsassistent geeft informatie over de snelheidslimiet en waarschuwt of grijpt in bij snelheidsovertredingen. Het verplicht stellen van de ingrijpende variant van het ISA-systeem kan volgens experts bijdragen tot een halvering van het totaal aantal verkeersdoden in Europa. In 2014 kwamen bijna 26 duizend mensen om in het verkeer.

25

Hier legt de nieuwe robotica duidelijk de

vraag op tafel of we niet moreel verplicht zijn om automatische snelheidsbegrenzing in auto’s wettelijk verplicht te stellen. Hoewel dit een inperking zou zijn van de individuele autonomie zou de afweging kunnen worden gemaakt dat deze inperking te rechtvaardigen is door de reductie in het aantal verkeersslachtoffers. Een andere toepassing zou bijvoorbeeld medische operaties kunnen zijn. Met een operatierobot, zoals de Da Vinci-robot, kunnen artsen veel nauwkeurigere en minder belastende ingrepen uitvoeren.

26

De negatieve kant van robotisering komt vooral naar voren wanneer de inzet van robotica leidt tot dehumanisering. De toepassing van robotica op de terreinen van de zorg, amusement, politie en het leger kan zorgen voor belangrijke ondersteuning, maar kan wanneer de technologie niet binnen bepaalde randvoorwaarden wordt ingezet ook de menselijke waardigheid ondermijnen. Het gaat om het gevaar van objectivering of instrumentalisering van mensen, oftewel dehumanisering. Met name met betrekking tot de inzet van robotica in de zorg bestaat hier angst voor. De manier waarop robots ingezet worden, lijkt hierbij een cruciaal punt. Coeckelberg (2010) stelt dat zorgrobots slechts mogen worden ingezet voor ‘routinematige zorgklussen’. Het gaat dan om taken waarbij geen emotionele, intieme, persoonlijke betrokkenheid vereist is. Het zorgzaam zijn – ‘care giving’ – is voorbehouden aan mensen. Wanneer robots worden ingezet ter vervanging van de verzorger, bestaat het risico dat zorg gedehumaniseerd wordt (Sharkey 2014). Wanneer robots taken zoals voeden en optillen overnemen, kunnen de zorgvragers zich als objecten voelen. Sterker nog, ze zien de mogelijkheid dat ouderen hierdoor het idee hebben minder controle over hun leven te hebben dan wanneer ze zorg van verzorgers ontvangen. Het ethische bezwaar van ‘objectivering van de patiënt’ sluit aan bij de gedachte dat robots niet kunnen zorgen.

Robots zijn apparaten die de empathische capaciteiten en wederkerigheid van menselijke zorgrelaties niet kunnen repliceren, is de onderbouwing. Menselijk contact wordt vaak als noodzakelijk gezien voor het verlenen van goede zorg. Kwaliteit van leven van de patiënt dient dan ook het leidende principe te zijn bij robotica in de zorg. Ook in andere gebieden van de zorg is er een risico op dehumanisering. Militairen of politieagenten die robots op afstand besturen, zijn niet aanwezig in de betreffende gevarenzone. De inzet van telegeleide robots zorgt zodoende voor een emotionele, en daardoor ook morele afstand tussen de actie en de ethische implicaties van die actie. Voorstanders stellen dat dit tot minder psychologisch leed onder militairen leidt en tot rationelere besluiten kan leiden. Critici vrezen dat in het creëren van meer afstand tussen een handeling en de gevolgen ervan het gevaar schuilt dat bestuurders belangrijke beslissingen, soms over leven en dood, nemen alsof ze een videospelletje spelen. Daarnaast zijn de bestuurders voor het maken van hun beslissingen afhankelijk van de beperkte informatie die door de robot wordt verstrekt. Bij de inzet van tele-geleide bewapende robots bestaat zodoende het gevaar van dehumanisering van de vijand, en van de afstomping van de bestuurder.

25 26

ec.europa.eu/transport/road_safety/pdf/observatory/trends_figures.pdf erasmusmc.nl/davincirobot/DaVinciRobot

57

Rathenau Instituut

Een ander aspect dat de afgelopen jaren tot veel discussie heeft geleid is het mogelijke effect van robotisering op de werkgelegenheid. Robots kunnen niet alleen worden ingezet ter ondersteuning van menselijke taken, ze kunnen gaandeweg ook steeds meer menselijke taken vervangen en dus ook arbeidsplaatsen invullen. Twee tegengestelde visies domineren deze discussie over de invloed van de robotisering. Enerzijds is er de visie dat robotisering leidt tot economische groei, banengroei (er worden nieuwe banen gecreëerd) en een acceptabele verdeling van de welvaart, en anderzijds de visie dat robotisering tot minder werk leidt met als gevolg een krimpende welvaart.

27

Het

behouden van menselijke waardigheid is cruciaal voor de maatschappelijke acceptatie van de nieuwe robotica. Robotica kan een belangrijke rol spelen in het versterken van menselijk welzijn, maar dat betekent ook dat er moet worden nagedacht over de manier waarop menselijke waardigheid wordt beschermd. De ontwikkelingen in robotica laten zien dat deze vraagstukken niet alleen op de lange termijn gaan spelen maar ons nu al dwingen te reflecteren op de huidige ontstane praktijk.

3.3

Biologische wereld

3.3.1

Biometrie

Het gebruik van biometrische informatie betekent dat unieke lichamelijke kernmerken –zoals het gelaat, de stem of de vingerafdruk – van een persoon worden gebruikt voor verificatie of identificatie. Een voorbeeld van verificatie door middel van biometrie zijn de elektronische grenspassage-poorten (e-gates) op vliegvelden. De reiziger legt zijn paspoort op een lezer, kijkt in de camera en het poortje gaat al of niet open. Het identificatiesysteem doet hierbij het volgende: een digitaal beeld van het gezicht, opgeslagen in het paspoort, wordt vergeleken met de opname van het gezicht die gemaakt is toen de reiziger in de camera keek. Als het biometrische systeem – in dit geval een gezichtsherkenner – beslist dat het gezicht opgeslagen in het paspoort van dezelfde persoon afkomstig is als de actuele opname, dan concludeert het paspoortcontrolesysteem dat hij de rechtmatige eigenaar van het paspoort moet zijn en opent de e-gate.

Privacy: privacy enhancing versus verlies van controle over gevoelige informatie Biometrische technologie is een tweezijdig zwaard in relatie tot privacy. Het kan op een privacybeschermende manier worden ingezet waarbij alleen de minimaal nodige informatie wordt gebruikt om bijvoorbeeld te bepalen of iemand gerechtigd is om een gebouw binnen te gaan of alcohol te kopen. Aan de andere kant is het gebruik van biometrie gevoelig, en kan controle over wat er met die informatie gebeurt lastig zijn, zeker nu de ontwikkeling van de technologie op een fase is beland dat zij in veel meer apparaten en situaties kan worden toegepast. In het hierboven beschreven voorbeeld van de e-gates wordt biometrie ingezet op een manier waarop de privacy wordt gewaarborgd. De identiteit van de gebruiker wordt namelijk niet vrijgegeven, maar er vind alleen verificatie plaats: is het gezicht voor de camera hetzelfde gezicht

27

Zie voor een uitvoerige studie over dit onderwerp: Van Est & Kool (2015).

58

Opwaarderen

als op het paspoort staat? Verificatie kan ook door een biometrische eigenschap van een persoon te vergelijken met de informatie die reeds over die persoon is opgeslagen. Bijvoorbeeld als een slijter van een biometrisch systeem gebruik maakt van vingerafdrukken om te verifiëren dat iemand ouder is dan achttien jaar, hoeft hij alleen te weten dat bij die vingerafdruk de informatie hoort dat diegene ouder dan achttien jaar is. De naam van de klant is niet van belang. Biometrie kan dus een mooi middel zijn om legitimiteit aan te tonen met behoud van privacy. Andere toepassingen van biometrie richten zich juist wel op identificatie. Bijvoorbeeld door het gezichtsprofiel van iemand te vergelijken met een databank om te zien of de gescande persoon in de databank voorkomt. Dit wordt toegepast bij bijvoorbeeld opsporing door de politie of bij de beveiliging van publieke ruimtes door middel van camera’s. Dit gebruik is bij wet geregeld. Van belang is een veilige en beschermde opslag van deze zeer gevoelige informatie. Biometrische gegevens kunnen namelijk informatie bevatten over bijvoorbeeld de gezondheid en de etniciteit van de gebruiker (Juul 2013). Het kan onwenselijk zijn dat deze gegevens in handen komen van bijvoorbeeld een verzekeringsmaatschappij of een werkgever.

Dit probleem wordt verergerd doordat de moderne biometrische identificatiemethoden ook aanwijzingen kunnen vinden voor bijvoorbeeld de gezondheidsrisico’s van een persoon. Op basis van bijvoorbeeld een irisscan kan diabetes of een hoge bloeddruk worden vastgesteld. Onregelmatigheden in de vingerafdrukken kunnen duiden op leukemie of borstkanker. Om privacyrisico’s van biometrie te voorkomen is het volgens Veldhuis (2015) van groot belang om biometrische gegevens zo op te slaan dat ze wel gebruikt kunnen worden voor herkenning, maar geen informatie over het onderliggende biometrische kenmerk prijsgeven. Technische oplossingen zoals biometric template recognition 28 en slimme cryptografische versleuteling kunnen hiervoor een oplossing bieden. Tegelijkertijd liggen doelverschuiving en het oneigenlijk gebruik van gegevens wel op de loer als het gaat om biometrie. Bij doelbinding met betrekking tot biometrie gaat het erom of de biometrische gegevens adequaat, relevant en proportioneel zijn in relatie tot het doel waarvoor ze zijn verzameld. In het verleden zijn er al voorbeelden dat hier niet altijd aan wordt voldaan (Renaud, Hoskins & Von Solms 2015). In een nachtclub in Glasgow bijvoorbeeld gebruikte het personeel een vingerafdruklezer om de leeftijd en identiteit van hun klanten te verifiëren. Dit om zogenaamd het alcoholprobleem in de stad terug te dringen.

Achteraf bleek echter dat dit werd gedaan voor het gemak van de uitsmijters en om meer winst te maken via profiling op basis van de identiteit van de klanten. In de afgelopen jaren heeft biometrie een sterke ontwikkeling doorgemaakt. De aanwezigheid van grote databases met foto’s, de toegankelijkheid van software, en alomtegenwoordigheid van camera’s in smartphones, zorgen ervoor dat gezichtsherkenningstechnologie in steeds meer situaties kan worden toegepast (Jansen et al. 2015). Wetenschappers lieten zien dat ze met behulp van gezichtsherkenningstechnologie en openbare data van Facebook profielen op een universiteitscampus een derde van de studenten konden identificeren (Acquisti et al. 2014). De

28

Bij biometric template recognition wordt alleen een profiel van de afstanden tussen verschillende gezichtskenmerken gebruikt zonder dat het originele beeld opgeslagen hoeft te worden. Het template kan daarmee losgekoppeld worden van identificerende gegevens van een indidivu (Veldhuis 2010).

Rathenau Instituut

59

vrees is dat toegankelijke gezichtsherkenningstechnologie uiteindelijk kan leiden tot een situatie waarin het niet meer mogelijk is om anoniem over straat te gaan. In Rusland werd in 2016 de app FindFace gelanceerd, waarmee gebruikers een foto die ze bijvoorbeeld van iemand op straat hebben gemaakt, kunnen vergelijken met profielfoto’s op Vkontakte – de Russische tegenhanger van Facebook – om zo iemands identiteit te achterhalen. ‘If you see someone you like, you can photograph them, find their identity, and then send them a friend request’, aldus een van de makers van de app (Walker 2016). Een volgende generatie biometrie geeft bovendien niet alleen inzicht in ‘wie u bent’, maar richt zich ook op de vraag ‘hoe u zich voelt’ (Mordine, Tzovaras & Ashton 2012). Emotieherkenningstechnologie geeft bijvoorbeeld inzicht in de gemoedstoestand van mensen, en kan zelfs worden ingezet om emoties die mensen proberen te verhullen, bloot te leggen door te kijken naar onbewuste automatische non-verbale reacties van mensen (Dwoskin & Rusli 2015). Het gaat hier om inbreuk op een nieuw terrein van de privacy, namelijk de ‘mentale privacy’. Dat wil zeggen het recht en het vermogen van mensen om privé te houden wat ze denken en voelen. Naast gezichtsuitdrukkingen kunnen ook andere vormen van gedrag worden geanalyseerd.

Zo kunnen bepaalde manieren van lopen, grimassen en gezichtsuitdrukkingen, iets blootgeven over een persoon en zijn gedrag. De mate waarin een persoon controle heeft over het al dan niet afgeven van bovengenoemde gegevens lijkt beperkt, aangezien het verzamelen van deze informatie op afstand en verborgen kan plaatsvinden – bijvoorbeeld door gezichtsherkenningstechnologie in te bouwen in paspoppen 29 – zonder medeweten van de persoon die geobserveerd wordt (De Hert & Sprokkereef 2012).

Veiligheid: identiteitsfraude Uit onderzoek van PWC (2013) blijkt dat identiteitsfraude een groot maatschappelijk probleem is dat in omvang waarschijnlijk alleen maar toeneemt. Identiteitsfraude is het opzettelijk verkrijgen, toeeigenen, bezitten of creëren van valse identificatiemiddelen en het daarmee begaan van een wederrechtelijke gedraging of met de intentie om daarmee een wederrechtelijke gedraging te begaan. Geavanceerde biometrie moet identiteitsfraude terugdringen. Paspoorten zijn tegenwoordig voorzien van een chip met gelaatsscan en digitale vingerafdrukken. In het Verenigd Koninkrijk wordt daarnaast ook een irisscan gemaakt. Biometrische herkenning heeft naast het veel genoemde gebruikersgemak, vanuit veiligheidsoogpunt ook als voordeel dat de gebruiker fysiek aanwezig moet zijn. Daarmee wordt de kans op fraude door middel van vervalsing van documenten, diefstal van pasjes en het ontfutselen van wachtwoorden kleiner. Hoewel biometrie voordelen biedt ten opzichte van wachtwoorden, pincodes, magneetstrips, et cetera, zijn er ook significante nadelen. Zoals we al geconstateerd hebben gaat het hier om zeer gevoelige informatie die niet in verkeerde handen moet komen. En ook biometrische technologie is niet onfeilbaar (Heimo et al.

2012): biometrische systemen kunnen misleid worden met vervalste kenmerken, bijvoorbeeld door middel van spoofing: het vervalsen van kenmerken met als doel om tijdelijk een valse identiteit aan te nemen. Zo lieten Duitse hackers zien dat ze met behulp van een paar foto’s – onder andere van een persconferentie – de vingerafdruk van de Duitse minister van

29

wired.co.uk/news/archive/2012-11/23/mannequin-spies-on-customers

60

Opwaarderen

Defensie konden namaken (Hern 2014). Extra nadelig is dat we in het geval van biometrische identiteitsfraude geen andere vingerafdruk of gezichtsprofiel kunnen nemen zoals we wel een nieuw wachtwoord aan kunnen vragen. Ook leidden minder geraffineerde methoden van identiteitsfraude al tot de eerste horrorscenario’s bij beveiliging met vingerafdrukken. Bij een auto die was uitgerust met een vingerafdruklezer om de beveiliging uit te schakelen, werd tijdens een autodiefstal de vinger van de eigenaar afgesneden, zodat de daders met de auto weg konden rijden.

30

Menselijke waardigheid: instrumentalisering en de standaardmens Zoals hiervoor ook aangegeven zijn biometrische systemen niet onfeilbaar. Ze kunnen zowel ‘vals negatieve’ als ‘vals positieve’ resultaten geven. Een ‘vals negatief’ resultaat krijg je als het identificatieapparaat een gerechtigd persoon niet herkent. Dit hoeft niet direct een probleem te zijn als de persoon zich maar onmiddellijk opnieuw kan proberen te identificeren. Maar iets dergelijks kan ook voor behoorlijk wat ongemak zorgen. Zo werd in de Verenigde Staten een automobilist zijn rijbewijs afgenomen, omdat het gezichtsherkenningssysteem hem aanzag voor een ander. Na tien dagen bureaucratisch geworstel waarin hij bewees dat hij was wie hij was kreeg hij uiteindelijk zijn rijbewijs terug.

31

Dit voorbeeld laat zien dat het gebruik van biometrische systemen kan leiden tot

instrumentalisering van het individu, waarbij het individu wordt gereduceerd tot een datapunt in een systeem. Het gebruiksgemak van biometrie is groot voor degene voor wie het systeem goed functioneert. Maar voor wie ten onrechte door het systeem wordt aangeduid als verdacht is het vaak zeer lastig om fouten recht te zetten. Daarnaast blijkt biometrie niet voor alle mensen inzetbaar. Zo heeft vanwege ouderdom of bepaalde chemotherapie twee procent van de mensen geen vingerafdruk die ‘gelezen’ kan worden (Renaud, Hoskins & Von Solms 2015). Een dergelijk probleem speelt bij veel digitale systemen: de systemen zijn ontworpen op basis van de kenmerken van een bepaald standaard type gebruiker, waarmee ze niet altijd toegankelijk zijn voor mensen die niet aan die eigenschappen voldoen, bijvoorbeeld omdat ze een naam hebben die niet in het systeem past, of van geslacht zijn veranderd.

Rechtvaardigheid: classificatie en het vermoeden van onschuld De toepassing van biometrie kan leiden tot verkeerde classificatie en stigmatisering, door een persoon automatisch in een bepaalde categorie te plaatsen, zoals terrorist, crimineel of onbetrouwbaar individu. Dit kan leiden tot een omkering van het vermoeden van onschuld. Door deze biometrische systemen kan iemand immers als crimineel beschouwd worden totdat het bewijs van het tegendeel is geleverd. De kans is groot dat deze stigmatisering aan zo’n persoon blijft kleven, bijvoorbeeld doordat het vermoeden wordt opgeslagen in een databank (Sutrop & LaasMikko 2012; Sutrop 2010). Dit kan nog eens versterkt worden door gezichtsherkenning, waardoor de identiteit van een persoon makkelijk is te achterhalen. De stigmatisering van een persoon kan dus plaatsvinden zonder dat die persoon hier weet van heeft. In naam van de nationale veiligheid, is de stap naar doelverschuiving klein.

30 31

news.bbc.co.uk/2/hi/asia-pacific/4396831.stm schneier.com/crypto-gram/archives/2011/0815

Rathenau Instituut

3.3.2

61

Persuasieve technologie

Persuasieve technologie wordt door Fogg (2002) gedefinieerd als technologie die als doel heeft om mensen aan te zetten tot het veranderen van hun gedrag. Om dit te bewerkstelligen moet er volgens Fogg (2002) sprake zijn van een juiste motivatie, de mogelijkheid om actie te ondernemen en een prikkel die aanzet tot een bepaald gedrag. Persuasieve technologie wordt bijvoorbeeld ingezet worden om een automobilist over te halen een autogordel te dragen. Veiligheid is hier de motivatie. Door een signaal te laten horen wanneer de bestuurder de autogordel niet om heeft, kan deze verleid worden de gordel daadwerkelijk om te doen.

Autonomie: sturing en manipulatie door technologie De meest prominente ethische vraag die zich bij persuasieve technologie opdringt is die van de menselijke autonomie: in hoeverre mogen we mensen beïnvloeden en wanneer mogen we deze technologie inzetten? Volgens Smids (2012) behoort persuasieve technologie te voldoen aan de eis van vrijwilligheid om autonomie te garanderen. Een handeling wordt uitsluitend vrijwillig gedaan als de handeling intentioneel wordt gedaan (diegene die handelt is ‘in control’) en vrij is van controlerende invloeden. Als iemand bijvoorbeeld de autogordel niet wil dragen en hierdoor een constant piepend geluid hoort, dan wordt diegene onderworpen aan een controlerende invloed – in dit geval een soort van dwang. De bestuurder kan het irriterend geluid alleen opheffen door het dragen van de gordel. Naast dwang, zoals hier, zijn voorbeelden van controlerende invloeden manipulatie (bijvoorbeeld het achterhouden van informatie of misleiding) en buitensporige stimuli (bijvoorbeeld een heel grote beloning). Idealiter is het doel van persuasieve technologie dat de verleiding stopt, en dat de gebruiker zelfstandig het ‘gewenste’ gedrag vertoont. In dat geval leidt persuasieve technologie de gebruiker op. Het doel van iemand opleiden is dat hij zelfstandig kan functioneren en dat hij geen begeleiding meer hoeft.

In tegenstelling tot opleiden, is het doel van manipuleren om iemand afhankelijk te houden. Volgens Spahn (2012) moet persuasieve technologie opleiden en niet manipuleren, en zichzelf uiteindelijk overbodig maken. Een belangrijke voorwaarde hiervoor is dat de gebruiker het doel van de beoogde verleiding deelt. Als een gebruiker duurzamer wil rijden dan zal hij elke poging om hem te helpen zijn doel te bereiken van harte omarmen. Als de gebruiker het doel niet deelt, dan kan een aanvullende motivering een oplossing bieden, in dit voorbeeld door te wijzen dat het financieel aantrekkelijk is om duurzaam te rijden. Technologie die op een meer dwingende manier het gedrag stuurt ,is echter niet per definitie onwenselijk. Ten eerste kunnen mensen er zelf voor kiezen om dwingende technologieën in te zetten. Zo kunnen mensen zeer tevreden zijn met het piepgeluid dat een auto geeft als ze te dicht op een ander voertuig of object rijden bij bijvoorbeeld het inparkeren, of met pauzesoftware voor het tegengaan van RSI met programma’s waarin de pauzes dwingend zijn. Mensen kiezen er dan zelf voor, door deze systemen niet uit te zetten, om afhankelijk te zijn van deze technologie. Ten tweede kunnen dwingende technologieën ingezet worden als het gedrag van het individu leidt tot een collectief risico.

Zo zijn er voorstanders voor verplichte snelheidsbegrenzers op auto’s, die de individuele vrijheid inperken, maar het collectieve risico van andere verkeersdeelnemers terugbrengen. Ten derde kan technologie worden ingezet om mensen te weerhouden van

62

Opwaarderen

gedragingen die per definitie een gevaar vormen voor anderen, zoals met te veel drank op een auto willen besturen. Het alcoholslot zou vanuit dat argument ethisch gezien verdedigbaar zijn. Persuasieve technologie kan zoals we eerder zagen ook een onderdeel vormen van slimme Internet-of-Things-omgevingen. Dat betekent dat beïnvloeding onderdeel wordt van de omgeving en in sommige gevallen minder bewust plaatsvindt. Dit is bijvoorbeeld het geval wanneer gebruik wordt gemaakt van subtiele lichtfeedback (Maan et al. 2011), waarbij beïnvloeding op een laagcognitief niveau plaatsvindt zonder dat de gebruiker zich daarvan bewust is. Dergelijke vormen van beïnvloeding kunnen een bedreiging vormen voor de autonomie van het individu, wanneer het gedrag wordt gestuurd zonder medeweten of zonder dat het individu zich er bewust van is. Transparantie en inzicht in de manier waarop persuasieve technologie wordt ingezet zijn dan ook van belang om de autonomie te beschermen (Compen et al. 2014).

Menselijke waardigheid: afleren van morele vaardigheden Een bezwaar tegen persuasieve technologie is dat het handelen van gebruikers niets meer met ethiek te maken heeft: ze maken geen morele keuze maar vertonen simpelweg gestuurd gedrag (Spahn 2013). Een rijtaakondersteunend systeem dat ons constant waarschuwt dat we te snel rijden kan qua veiligheid zeer effectief zijn, maar het risico is een zekere verschraling van het normbewustzijn. Persuasieve technologie is potentieel een krachtig reguleringsinstrument, maar de morele vraagstukken vragen om een nadere overdenking van de inzet van persuasieve technologie als technisch reguleringsinstrument. Het doembeeld van critici is dat persuasieve technologie leidt tot een samenleving waarin burgers gestuurd worden tot normconform handelen zonder dat zij de norm zelf nog voelen. Internet criticus Morozov (2013) pleit daarom voor technologie die het deliberatieve vermogen van mensen (het vermogen om informatie te vergaren en met andere mensen te overleggen en argumenten uit te wisselen) stimuleert, aanzet tot reflectie en van daaruit eventueel leidt tot gedragsverandering. Een wasmachine kan een gebruiker met een feedbackmechanisme stimuleren op een energiezuinige, lagere temperatuur te wassen, maar de gebruiker denkt daarmee niet vanzelfsprekend na over de vraag of hij überhaupt wel elke dag zijn kleren moet wassen.

Een slimme auto zet de gebruiker aan tot zuiniger rijgedrag, maar niet tot denken of de auto ook wel een dagje in de garage kan blijven staan. Volgens Morozov zou persuatieve techonologie dus moeten stimuleren over welke dingen juist zijn om te doen.

Machtsverhoudingen: wie stelt de norm? Een gebruiker heeft in relatie met persuasieve technologie niet de mogelijkheid om een discussie aan te gaan met de technologie zoals dat bij een menselijke gesprekspartner wel mogelijk is. Dat zorgt voor een asymmetrische relatie in deze communicatie: de norm wordt in de technologie vastgelegd, en de gebruiker wordt daar eenzijdig aan blootgesteld. Spahn (2012) beargumenteert daarom dat het van belang is dat de gebruiker zoveel mogelijk invloed heeft over hoe deze norm wordt bepaald, en bewust instemt met de inzet van persuasieve technologie. Wanneer een gebruiker zelf besluit een digitale fitnesscoach aan te schaffen kunnen we van deze instemming uitgaan. Wanneer persuasieve technologie echter wordt ingezet in de context van een werkomgeving, of binnen een verzekeringscontext, wordt deze kwestie problematischer (Timmer et al. 2015). Dit roept de vraag op of de werkgever of verzekeraar de normen voor gedragsverandering voor een werknemer of klant mogen bepalen, of dat dit een inbreuk is op zijn autonomie. De Autoriteit Persoonsgegevens deed recentelijk uitspraak over de inzet van wearables

63

Rathenau Instituut

door werkgevers in relatie tot het verzamelen van persoonsgegevens, 32 maar uitspraken over hoe werkgevers wearables mogen inzetten voor gedragssturing ontbreken nog.

3.4

Socio-culturele wereld

3.4.1

Augmented reality & Virtual reality

Het gebied van augmented reality en virtual reality (VR) is sterk in ontwikkeling. Bij augmented reality (AR) wordt de echte wereld vermengd met virtuele informatie, animaties of objecten. In feite wordt er een extra digitale laag aan informatie toegevoegd aan onze realiteit, bijvoorbeeld via een slimme bril zoals de Google Glass. Bij virtual reality vind de interactie plaats in een volledig virtuele, driedimensionale, interactieve en computer-gegenereerde omgeving waarin gebruikers een kunstmatige ervaring beleven. De lancering in 2012 van de Oculus Rift VR-bril, die zulke mogelijkheden biedt, zorgde toen voor veel aandacht voor virtual reality. Het bedrijf werd in 2014 voor twee miljard dollar gekocht door Facebook dat grootste plannen heeft met virtual reality. ‘Na games gaan we van Oculus een platform maken voor allerlei andere ervaringen. Stel je voor dat je aan het veld zit bij een wedstrijd, studeert in een klaslokaal met studenten en leraren van over de hele wereld of een persoonlijk consult hebt met een dokter – gewoon door thuis een bril op te zetten’,

33

aldus ceo Mark Zuckerberg. In de toekomst kan virtual reality een belangrijk onderdeel

van ons sociale leven worden. De sociale media-mogelijkheden worden hierdoor enorm uitgebreid: mensen kunnen niet alleen momenten online doorbrengen met vrienden, maar er hele ervaringen en avonturen beleven.

Privacy: Little brother (AR) en misbruik van virtuele avatars (VR) Een veelbesproken ontwikkeling in augmented reality was de lancering van de Google Glass in 2013, een draagbare computer in de vorm van een bril die informatie projecteert op een klein display voor je ogen. Google stopte begin 2015 met de productie van Google Glass als consumentenproduct om zich voorlopig te richten op zakelijke toepassingen.

34

Een van de redenen

waarom de publieke lancering van de Google Glass mislukte was dat er veel publieke onrust ontstond over de mogelijkheid om privégesprekken en sociale interacties (ongevraagd) te filmen met de bril. De ontwikkeling van AR leidt tot zorgen over een zogenaamd Little-Brother-scenario: in plaats van een overheid die iedereen bespied, zijn het burgers en bedrijven die elkaar continu bespieden. Slimme brillen of lenzen zijn ideale middelen om mensen te volgen en te bespieden zonder dat mensen dat in de gaten hebben (Geser 2010). Zeker als zo’n AR-bril of -lens is uitgerust met een app voor gezichtsherkenning krijgt de gebruiker realtime-informatie over de persoon voor hem. Zo’n bril stelt de drager dus in staat van alles te registreren, zonder dat anderen zien dat registratie plaatsvindt. Dat dit volgens de wet niet mag, zal waarschijnlijk kwaadwillenden niet tegenhouden, omdat het haast ondoenlijk is ze te traceren. Daarnaast leidt de slimme bril of lens nog tot een ander vraagstuk: van wie zijn de beelden die de bril registreert? Met andere woorden: heeft de drager van de slimme bril of lens het exclusieve recht

32 33 34

autoriteitpersoonsgegevens.nl/nl/nieuws/ap-verwerking-gezondheidsgegevens-wearables-door-werkgevers-mag-niet nu.nl/internet/3735946/waarom-heeft-facebook-interesse-in-virtual-reality.html theguardian.com/technology/2015/jul/31/google-glass-wearable-computer-businesses

64

Opwaarderen

op zijn/haar eigen waarneming (Brinkman 2014; Wolf, Grodzinsky & Miller 2015)? Google had octrooi aangevraagd en gekregen op de technologie die via het volgen van oogbewegingen het mogelijk maakt dat het bedrijf ziet waar een drager van een Google Glass naar kijkt.

35

Hierdoor kan

zo’n bedrijf niet alleen beschikken over het beeld dat de drager van de bril ziet, maar krijgt ook informatie over wanneer en naar wat de drager precies kijkt. Deze data kunnen voor andere bedrijven zeer bruikbaar zijn voor bijvoorbeeld profiling en kunnen daardoor onderdeel worden van het businessmodel van een bedrijf dat de beelden registreert. In virtual reality gaat het privacyvraagstuk over de nieuwe manieren waarop het gedrag van mensen gevolgd kan worden in virtuele ruimten. Spelfabrikanten zoals Knack 36 laten zien dat aan de manier waarop iemand een spel speelt in de virtuele wereld veel kan worden afgeleid over zijn persoonlijkheid, de manier van samenwerken en hoe iemand problemen oplost (Peck 2013). Zeker wanneer sociale interacties zich meer verplaatsen naar sociale netwerken in VR – wat de ambitie van Facebook is – is de impact op privacy groot. Niet alleen de controle over persoonlijke informatie komt onder druk te staan, ook de mogelijkheid om te bepalen wie wel en niet deel uitmaakt van een interactie is lastiger in een virtuele ruimte. Bovendien kan continue monitoring leiden tot sociaal conformisme, verminderde authenticiteit en zelfcensuur (O’Brolchain 2016). Tot slot is het ook een vraagstuk hoe moet worden omgegaan met beeltenissen van personen.

Wanneer in VR realistische avatars gemaakt kunnen worden – bijvoorbeeld van bekende personen – levert dat een vraagstuk op over hoe zij controle houden over hun eigen beeltenis. Hoe kan worden voorkomen dat een avatar in VR voor ongewenste activiteiten wordt ingezet in een nieuwe virtuele vorm van identiteitsmisbruik?

Veiligheid: psychische schade in virtuele werelden (VR) Het hierboven beschreven misbruik van beeltenissen in virtuele werelden roept de vraag op wat de acties in virtuele wereld betekenen. Duitse filosofen Madary en Metzinger (2016) hebben een eerste poging gedaan tot het opstellen van een gedragscode bij het onderzoeken en gebruiken van virtual reality-technologieën. Ze zijn voornamelijk geïnteresseerd in de risico’s van VR-technologieën die gebruikers het gevoel geven zich in een ander lichaam te bevinden dan hun eigen lichaam, en met name in die situaties waarin gebruikers interacteren met andere virtuele of echte mensen. In deze situaties kunnen onethische gedragingen plaatsvinden die reeds in computerspelen tot controverse hebben geleid (Seddon 2012). Een bekend voorbeeld is dat iemand aangifte deed omdat haar avatar zou zijn aangerand in het computerspel Second Life. Volgens Madary en Metzinger (2016) is de emotionele betrokkenheid binnen een virtuele omgeving waarin we feitelijk belichaamd zijn (actually embodied) vele malen groter. Dat betekent dat de psychische schade die iemand oploopt ten gevolge van een aanranding in virtual reality zeer waarschijnlijk groter zal zijn dan voorgaande gevallen in het spel Second Life.

De verwachting is dat in de nabije toekomst mensen elkaar vaker gaan opzoeken in virtuele omgevingen en dat sociale netwerken als Facebook deze mogelijkheden ook gaan ondersteunen. Een succesvolle implementatie hangt voor een groot deel af van hoe

35

patft.uspto.gov/netacgi/nph-Parser?Sect1=PTO2&Sect2=HITOFF&u=%2Fnetahtml%2FPTO%2Fsearchadv.htm&r=36&p=1&f=G&l=50&d=PTXT&S1=%2820130813.PD.+AND+Google.ASNM.%29&OS=ISD/20130813+AND+AN/Google&RS=%28ISD/20 130813+AND+AN/Google%29

36

Knack is een producent van zogenaamde assessment games, computerspelletjes die ontworpen zijn om een oordeel te kunnen vormen over iemands prestaties in een werkomgeving.

65

Rathenau Instituut

mensen zich zullen gedragen in virtuele ruimten. Een ethische gedragscode of bepaalde regulering van het gedrag in deze virtuele ruimten is dan ook wenselijk. Er is nog weinig onderzoek gedaan naar de effecten van de emotionele betrokkenheid in VR en hoe ervaringen in VR doorwerken in de echte wereld (Kizza 2013). De eerste ervaringen met therapievormen die in VR wordt aangeboden – bijvoorbeeld om van een fobie af te komen, of om lastige sociale situaties zoals een sollicitatiegesprek te oefenen – laten wel zien dat VR positieve bijdragen kan leveren aan de behandeling van angsten en stoornissen. 37 Omgekeerd zou daarmee ook kunnen worden verwacht dat ook emotionele schade in de virtuele wereld kan doorwerken in de echte wereld. Madary en Metzinger (2016) pleiten ervoor dat deze zaken eerst goed worden onderzocht, zodat een introductie in de markt van deze VR-technologieën op een ethisch verantwoorde manier plaats zal vinden.

Menselijke waardigheid: desocialisatie en vervreemding (VR) VR-technologie tart het gebruikelijke onderscheid tussen virtuele en werkelijke wereld. Dit roept de vrees op dat mensen op een gegeven moment ‘echt’ niet meer van ‘nep’ kunnen onderscheiden. Melson et al. (2009) zijn bang dat door het massale gebruik van deze technologieën onze interactie met de natuur zal vervangen. Daardoor zullen we ook de helende en creatieve kracht van de natuur gaan missen. Louv (2005) spreekt van het nature deficit disorder. Madary en Metzinger (2016) noemen zelfs het gevaar dat veelvuldige gebruikers van VR de werkelijke wereld en hun lichaam als onwerkelijk beschouwen, en dat hun gevoel van werkelijkheid exclusief verschoven is naar de virtuele omgeving. Dit leidt tot verwaarlozing van hun daadwerkelijke fysieke en sociale omgeving. Wat betreft het verschuiven van sociale contacten naar de virtuele wereld, is Turkle (2011) bang dat mensen hun sociale competenties – bijvoorbeeld omgaan met afwijzing en herstellen van ruzies – verliezen als we in de toekomst hoofdzakelijk virtuele contacten hebben.

38

De vrees van Turkle voor

dit verlies is gebaseerd op haar langdurig onderzoek naar de invloed van sociale media en mobiele telefoons op de communicatie tussen jongeren. Turkle stelt dat de jongste generatie veel minder empathisch is dan haar voorgangers omdat intimiteit vermeden kan worden en daardoor relaties via sociale media of virtual reality minder verplichtend zijn. Dotson (2014) voorziet zelfs een toekomst waarbij we contact hebben met virtuele personen. Dit draagt volgens hem bij aan een ongewenste verschuiving in de collectieve opvatting van ‘authentieke socialiteit’. Een kleine groep Japanse mannen – bijgenaamd Otaku – geven al aan dat ze een virtuele vriendin prefereren boven een echte relatie: ‘With real girlfriends you have to consider marriage. So I think twice about going out with a 3D woman.’ (Rani 2013). Een ander risico is volgens O’Brolcháin et al. (2016) dat VR verslavend kan werken, zoals de virtuele wereld ook andere verslavingen heeft voortgebracht. Gokken en porno zijn door het internet bijvoorbeeld constant beschikbaar en zorgen daardoor voor nieuwe online vormen van verslavingen. Kortom: aandacht voor de invloed van sociale media en virtual reality op onze sociale vaardigheden is niet alleen een kwestie van de lange termijn, maar nu reeds nodig.

37 38

mmi.tudelft.nl/vret/index.php/Virtual_Reality_and_Phobias Zie ook Sullins (2012).

66

Opwaarderen

3.4.2

Digitale platformen

Digitale platformen maken het mogelijk dat transacties slim en efficiënt worden georganiseerd. Uber en Airbnb zijn daar de meest zichtbare voorbeelden van. Er zijn nog tal van andere initiatieven met name met betrekking tot de deeleconomie: ‘Het fenomeen dat consumenten elkaar gebruik laten maken van hun onbenutte consumptiegoederen, eventueel tegen betaling’ (Meelen & Frenken 2014). Voorbeelden zijn Marktplaats, Peerby (‘Leen makkelijk en snel spullen van je buren’), ParkFlyRent (‘Parkeer gratis bij het vliegveld en verhuur je auto volledig verzekerd’) Thuisafgehaald (‘Maaltijden delen met je buren’).

41

40

39

en

Deze digitale platformen kennen vele voordelen,

zoals gebruikersgemak, efficiëntie en mogelijk duurzaamheid, aangezien via de deeleconomie producten mogelijk vaker en daarmee efficiënter gebruikt kunnen worden. Daarnaast spelen bij digitale platformen tal van ethisch-maatschappelijke kwesties die serieuze aandacht verdienen.

Privacy: inzicht in alle platform interacties Ook bij digitale platformen speelt de kwestie van privacy. Alle transacties en interacties die binnen het platform plaatsvinden zijn te volgen door de beheerder van het platform, en veel van deze transacties bevatten gevoelige informatie. Platformen kunnen eenvoudig met simpele tools hun gebruikers volgen. Met name de wijze waarop (medewerkers van) Uber met de privacy van zowel haar chauffeurs als klanten omging, heeft veel opzien gebaard (Rogers 2015). Zo werd bekend dat Uber met hun zogenaamde real-time trackingsysteem ‘God View’ zowel hun klanten als chauffeurs volgden. In een blogpost van een medewerker van Uber, die overigens verwijderd is, werd met veel bravoure gesteld dat Uber op basis van de data die ze verzamelen kan inschatten wie van hun klanten een one-night-stand heeft gehad. Die conclusie kan men trekken wanneer twee verschillende klanten ’s avonds worden afgezet op een adres waar ze beiden niet wonen, en s’ochtends worden opgehaald en dan ieder weer op hun eigen adres worden afgezet.

42

Daarnaast

bleek dat Uber een datalek niet had gemeld waardoor persoonlijke informatie van vijftig duizend Uber-chauffeurs maandenlang online stond. Nadat een schikking van twintig duizend dollar werd getroffen met justitie in New York heeft Uber haar privacybeleid aangescherpt. ‘God View’ is inmiddels geanonimiseerd en het aantal medewerkers dat bij persoonlijke informatie van chauffeurs kan is kleiner geworden. Daarnaast zijn de locatiedata van Uber-chauffeurs en klanten versleuteld.

43

Deze data zijn echter wel in te zien met een wachtwoord dat bekend is bij Uber.

Scherp toezicht op privacyrichtlijnen voor platformen die een neiging hebben zich te onttrekken aan regelgeving, lijkt hard nodig. Op deze manier kan duidelijk gemaakt worden welke data verzameld worden, hoe ze worden verzameld en gebruikt, en of ze worden doorverkocht (Scholz 2016b).

Controle: transparantie van sturende algoritmen Platformen maken gebruik van algoritmes om tot bepaalde keuzes en beslissingen te komen. Voorheen waren algoritmes deterministisch – van tevoren is door de programmeur voor elke situatie een actie bepaald – en was het mogelijk voor een mens te achterhalen hoe het algoritme tot een beslissing kwam. Door onder ander kunstmatige intelligentie volgen algoritmes geen vooraf 39 40 41 42 43