Computer Says No!

In veel grote organisaties regeert de computer. Het zijn telecomaanbieders, verzekeraars en overheden die hun medewerkers slaafs taken met behulp van de computer laat uitvoeren. Meedenken met de klant is niet nodig, want de computer heeft altijd gelijk.

De Britse comedy serie Little Britain steek daarmee de draak. Een moeder meldt zich met haar dochtertje bij de balie van het ziekenhuis voor het verwijderen van de amandelen bij het meisje. De receptioniste kijkt op haar scherm en zegt: ‘Computer Says No’. Het meisje staat in het systeem ingeboekt voor een dubbele heupoperatie. ‘Wil je die?’ vraagt de receptioniste. Natuurlijk wil ze die niet, maar de amandeloperatie zit er niet in: ‘Computer Says No’.

Door voortschrijding van de technologie gaat de receptioniste achter een beeldscherm snel verdwijnen. Balie- en helpdeskmedewerkers maken op termijn plaats voor een virtuele assistent voor klantenondersteuning. Die werkt 24 uur per dag en kan oneindig veel klanten tegelijk helpen. Dankzij kunstmatige intelligentie gedraagt de virtuele assistent zich steeds menselijker, toont inlevingsvermogen en denkt met de klant mee. Het Amerikaanse bedrijf IPSoft gaf haar virtuele assistent ‘Amalia’ een menselijk gezicht. De digitale wereld verovert steeds meer terrein op de fysieke wereld. Zelf zijn we met onze smartphones en waerables ook continu aangesloten op die digitale wereld.

Mijn sporthorloge meet 24 uur per dag mijn hartslag en activiteit. Dit gebruik ik zelf als ondersteuning bij het sporten en fit te blijven. Wat zou ik ervan vinden om deze gegevens te delen met een arts die mijn gezondheid dan continu kan bewaken? Sta ik de informatie af aan mijn zorgverzekeraar om mijn premie en risicotoeslag te bepalen? Wat doe ik als mijn zieke moeder wordt ontslagen uit het ziekenhuis en haar toestand voortaan op afstand wordt bewaakt op basis van een slimme pleister die vitale functies kan meten? Door voortschrijdende technologische ontwikkelingen worden we steeds meer voor ethische afwegingen geplaatst. Op basis van de informatiesporen die wij achter laten en alom aanwezige camera’s, worden wij bespied en op basis van slimme algoritmen gemanipuleerd zonder dat in de gaten te hebben.

Zonder dat we het door hebben worden taken van mensen overgenomen door robots. We bellen naar de helpdesk en worden geholpen door een robot. Een rechterlijke uitspraak of beoordeling van onze sollicitatiebrief wordt achter de schermen door een robot afgehandeld. Moeten we dan ook verhaal halen bij de robot als we het er niet mee eens zijn? Aan de andere kant kunnen de robots ook veel gemak geven, bijvoorbeeld voor uitvoering van zorgtaken of zelfrijdende auto. Dan vertrouwen we op de juiste beslissingen van de robot. Als de auto moet kiezen tussen fatale botsing tegen betonblok of doodrijden van overstekende mensen, welke keuze moet de auto dan van jou maken? Waar ligt de grens? Welke afweging maak je tussen bijvoorbeeld veiligheid en privacy of terrorismebestrijding en digitale veiligheid? Wat vind je nog ethisch verantwoord?

De voortschrijding van de technologie brengt een aantal van dit soort ethische dillema’s met zich mee. Trek je ergens een grens of accepteer je digitalisering als een soort natuurverschijnsel waarop je geen invloed hebt? Waar trek jij de grens? Is het ‘Computer Says No!’, of zeg je ‘Ho!’?

Op basis van deze test meet je jouw houding ten opzichte van enkele dilemma’s. De uitkomsten van onze peiling nemen we mee naar de rondetafeldiscussie op 17 september over algoritmen en hoe daar grip op te houden.

Eerdere publicaties over ethische dilemma’s en technologie

Jan Willem Boissevain is Senior Account Executive bij Pegasystems