Kritische kanttekeningen bij AI

Alles over Assessments interpretatie van: ‘There is a blind spot in AI research. (Kate Crawford & Ryan Calo).

De auteurs plaatsen kritische kanttekeningen bij de opkomst van artificiële intelligentie (AI). Niemand twijfelt meer aan de mogelijkheden die AI biedt om complexe taken in het dagelijkse leven over te nemen, waarbij menselijke biases worden opgespoord en verminderd. Minder aandacht is er voor de impact die AI heeft op het sociale leven. De auteurs claimen dat AI een net zo sterke culturele als technologische verschuiving teweeg brengt. Ter illustratie kan AI vergeleken worden met de introductie van de drukpers en de spoorwegen. Meer en meer worden zelfstandig werkende systemen ingezet in sociale instellingen, zoals ziekenhuizen en rechtbanken. Dit terwijl er geen breed gedragen methoden zijn om de effecten van dergelijke systemen te toetsen op de maatschappij.
Op dit moment zijn er drie methoden om zorgen te adresseren over de sociale en ethische consequenties van AI systemen:

1. Compliance: het conformeren aan best practices en/of wettelijke verplichtingen. Bijvoorbeeld: Google paste in 2015 zijn gezichtsherkenning-algoritme aan nadat een Afro-Amerikaans echtpaar werd gelabeld als gorilla’s. Nadeel van deze aanpak is dat het ad-hoc en reactief is. Daarnaast kunnen, door een industrie zelf ontwikkelde, best practices kritische input van buitenaf missen.
2. ‘Waarden in design’: Om verantwoordelijk te innoveren worden middels deze aanpak de gebruikers en hun waarden in kaart gebracht. De waarden, bijvoorbeeld m.b.t. privacy en/of het milieu, worden vervolgens meegenomen in de ontwikkeling van de AI technologie. Deze methode is gestoeld op de aanname dat het betreffende AI systeem ontwikkeld gaat worden en is dus minder toepasbaar om ontwikkelaars, beleidsmakers en/of de maatschappij te helpen bepalen of het systeem überhaupt ontwikkeld zou moeten worden.
3. Denk- experimenten: hypothetische scenario’s worden gebruikt om in kaart te brengen in welke gevallen geautomatiseerde beslissingen leiden tot ethische keuzes. Bijvoorbeeld of en hoe een zelfrijdende auto beslissingen neemt over leven en dood in complexe verkeerssituaties. Nadeel van deze methode is dat deze een beperkte bredere toepasbaarheid heeft.

De auteurs pleiten voor een vierde methode, een sociale systemen analyse, om alle mogelijke effecten van AI systemen op alle betrokkenen te vatten. De sociale impact wordt in iedere fase meegenomen: van conceptie, ontwerp, inzet tot regulering. Alleen door bredere vragen te stellen over de impact van AI kan een meer holistisch en geïntegreerd begrip gecreëerd worden. Dat is nodig om te bepalen in hoeverre de veranderingen die AI brengt toegevoegde waarde hebben, voordat ze worden verweven in de ons dagelijks leven.

Toepasbaarheid van dit artikel voor de assessment professional:

Op het eerste gezicht is de link tussen dit artikel en de dagelijkse praktijk van de assessment professional niet heel makkelijk te maken. Evident is wel dat ook in ons vakgebied AI in opkomst is: People analytics, Big Data, Virtual Reality toepassingen, het meten van persoonlijkheid middels gezichtsexpressie. De gevestigde methoden om de voorspellende waarde van assessments te toetsen lijken lastig toepasbaar op de genoemde AI ontwikkelingen. Desalniettemin zullen wij als assessment professionals ons moeten buigen over hoe AI toepassingen zo ingezet kunnen worden dat zij aantoonbaar leiden tot eerlijkere en betere selectiebeslissingen. Een belangrijkste eerste stap is het snappen en kunnen uitleggen van de gebruikte algoritmes die toegepast worden om geautomatiseerde selectiebeslissingen te nemen. Het is de eigen verantwoordelijkheid van de assessment professional om het algoritme kritisch te beoordelen op relevantie, fairness en adverse impact. Daarnaast is transparantie belangrijk. In het kader van best practices maar ook de nieuwe AVG wetgeving (recht op menselijke interventie) wordt er een steeds sterker beroep op onze praktijk gedaan om kandidaten inzage te geven in de gehanteerde formules.

Kate Crawford & Ryan Calo (2016). There is a blind spot in AI research. Nature.com