demokrati

Mycket på årets upplaga av Internetdagarna handlade om data, AI och att vi måste förstå vad tekniken är bra på och var utmaningarna finns. Jag känner igen uppmaningen om förståelse från många andra sammanhang. Men jag tror att det börjar bli dags att bryta ner den uppmaningen och göra det tydligare vem som egentligen behöver förstå vad.

En maskininlärningsalgoritm som får titta på massor av bilder på blommor lär sig känna igen blommor, men inte katter. En maskininlärningsalgoritm som ska användas i rekryteringssammanhang och där man använder underlag om de som redan är anställda kommer fortsätta att rekrytera på samma sätt. Och därmed replikera de fördomar som finns hos personalen på HR-avdelningen och inte alls lyckas med den fördomsfulla rekrytering som leverantören av rekryteringsverktyget påstår.

Från huvudscenen lyfte bland andra danah boyd och Harper Reed in AI i sina presentationer, och resonerade med liknande exempel kring problemen med att dåligt dataunderlag leder till dålig AI.

”Det här måste vi förstå,” är budskapet. Och det måste vi. Jag har skrivit många artiklar och blogginlägg om det, jag lyfter det när jag själv föreläser om digitalisering och jag har pratat om det med gäster i Digitalsamtal. (Bland annat i avsnittet med danah boyd som redan är publicerat, och i samtalet med Harper Reed som kommer i podden inom kort.)

Men på tåget hem från Stockholm slår det mig: Det här är väldigt vagt.

”Det här måste vi förstå.”

Vad är ”det här” och vilka är ”vi”?

Att utvecklare, både i bemärkelsen människorna som gör jobbet och företagen som säljer tjänster och produkter, behöver förstå varför träningsdata spelar roll och begränsningarna för vad AI klarar av är uppenbart. Men redan här, i det som för mig känns självklart, är jag tveksam till hur det faktiskt ser ut.

Under 2017 och 2018 skrev jag mycket om hur digitaliseringen börjar synas i HR-branschen och då läst på och gjort intervjuer om en uppsjö av olika HR-lösningar som påstås använda AI på olika sätt. För att hjälpa till med just fördomsfria rekryteringar, eller gå igenom data från personalsystem för att hitta personer som är värda att satsa på i form av vidareutbildning, eller för att samla in och analysera hur personalen mår, eller… Listan kan göras lång.

Men när jag ställt frågor till en del av de här företagen om hur de kvalitetssäkrar träningsdata eller verifierar att algoritmernas slutsatser om vem som ska rekryteras, vem som ska få vidareutbildning, hur personalen mår verkligen utför uppgiften har de övertygande svaren många gånger saknats. Och hos de företag som använt lösningarna har det många gånger varit uppenbart att frågeställningen varit helt ny för dem när jag undrat hur de resonerat och utvärderat olika alternativ.

I förra veckan snubblade jag över bilderna och anteckningarna från en presentation om just AI:s begränsningar. Föreläsningen har den något provokativa titeln How to recognize AI snake oil. Men föreläsaren är inte en domedagsprofet. Det är i stället Arvind Narayanan, välkänd AI-professor från Princeton University.

I sin presentation spaltar han upp tre olika typer av uppgifter som AI idag används för:

1. Identifiering, att känna igen något.
2. Beslut, att välja mellan olika saker.
3. Prognoser, att sia in i framtiden.

Han konstaterar att det första är AI redan fenomenalt bra på. Det här handlar om att låta datorer känna igen ansikten, cancertumörer, att översätta tal till text och andra uppgifter där det finns ett tydligt ”rätt” och ett tydligt ”fel”.

Punkt två handlar om att låta datorer fatta mänskliga beslut. Är det här mailet spam eller inte? Är det här hate speech eller inte? Vilket innehåll passar personen X bäst? Här är AI ännu inte perfekt, men under ständig förbättring.

Och så slutligen, försöken att förutspå framtiden, och mer specifikt kopplat till sociala aspekter. Kommer person X begå nya brott? Hur bra kommer Y göra ifrån sig på jobbet? Hur stor är risken för ett terrorattentat? Här skräder inte Narayanan sina ord. Rubriken på den bild som listar de är exemplen är Fundamentally dubious.

Men han nöjer sig inte med att gruppera de olika arbetsuppgifterna efter hur bra AI faktiskt är att utföra dem. Han konstaterar också att det för vart och ett av de tre områdena finns tydliga etiska aspekter:

För det första området på grund av att träffsäkerheten i detekteringen helt enkelt är väldigt hög. För det andra eftersom vissa misstag är oundvikliga. För det tredje eftersom osäkerheten i prognoserna är stora.

Självklart måste utvecklare, i båda bemärkelserna, ha koll på det här. Men räcker det?

Jag tror inte det. Av den enkla anledningen att utvecklarna kommer inte alltid ha det. Vilket innebär att vi användare allt oftare kommer att exponeras för teknik som har de här inbyggda bristerna. Och den exponeringen kommer i många olika former.

På en arbetsplats, i form av en chef som ska utvärdera vilka verktyg som ska användas. Och i form av anställda som använder de verktygen som chefen fattat beslut om. Här är det uppenbart att en chef med koll på de här begränsningarna för AI kommer att fatta bättre beslut om vad som ska köpas in än en chef som inte har den kollen.

Men också i privatlivet har det här konsekvenser, prylar och tjänster som med inslag av AI blir allt större där också.

Så absolut. ”Det här måste vi förstå.” Den här texten blir tyvärr ytterligare en argumentation för att det är så. Men fortfarande väldigt lite av svar på frågan om vem som behöver förstå vad.

Det kommer att finnas anledning att återkomma till den. Jag lovar att göra det. Och vill självklart komma i kontakt med personer som har ett svar på den. Tipsa gärna!

Så länge går det att läsa bloggversionen av den presentation Per Axbom höll på spåret Digital etik och moral på Internetdagarna. Det är en läsvärd text som tangerar min fråga, men utifrån ett litet annat perspektiv.