Kina, svarte speil og marerittmat

Jeg har hatt en greie på Twitter jeg har kalt «Fra AI-skrekkabinettet» der jeg har lagt ut små oppdateringer som peker på problemer moderne teknologi og særlig AI kan føre med seg, for eksempel myndigheters bruk av ansiktsgjenkjenning, algoritmer som diskriminerer, Ubers greyball og andre potensielt problematiske ting.

Men noen ganger dukker det opp saker som er så skumle at man blir sittende litt målløs. Kina planlegger å innføre et slags sosialt rangeringssystem i løpet av 2020. Dette systemet kan se ut som et høydepunkt av hvor galt det kan gå når moderne teknologi og stordata møter autoritære regimer.

Kinesiske myndigheter ønsker et system som samler informasjon fra flere kilder: Sosiale medier, kredittopplysninger, kjøpshistorikk, adferd mv. og destillerer disse opplysningen ned til et tall. Et tall som skal si noe om hvor «bra» innbygger du er. Denne rangeringen skal igjen kunne brukes når det skal vurderes om du skal få leie bil, få lån eller hvilke skoler barna dine skal gå på.

Men det som er virkelig er problematisk i dette havet av problematisk er at det ikke bare skal være dine opplysninger og handlinger som avgjøre hvilen rangering du får, men også hva for eksempel venner og familie deler på sosiale medier. At «dårlige» mennesker holder dårlig selskap er ikke noe annet enn en omskrivning av «like barn leker best», og knapt nok en radikal tanke, men her blir det satt i et ganske skremmende system i et samfunn der myndigheten er opptatt av å fremstå som ufeilbarlige.

Det er ganske lett å forestille seg at dette vil føre til et ganske stort sosialt press fra venner og bekjente om at folk skal oppføre seg regimevennlig på sosiale medier eller andre steder på Internett, siden å ikke gjøre det helt automatisk kan få konsekvenser for ikke bare ditt eget, men også vennene og barna dine sine liv.

Systemet kan også sees på som en måte å bruke dataspillmekanikk for å skape konformitet og sosial kontroll. Folk driver allerede nå, i pilotprosjektene, og konkurrerer om å ha høyest rangering. Med andre ord, de konkurrerer i å være «de beste innbyggerne» for å få belønninger i form av tilgang til lån og andre fordeler.

I tillegg kommer spørsmålet om algoritmisk diskriminering opp. Hvordan vet man at denne rangeringsalgoritmen er rettferdig, eller så rettferdig den kan være i et totalitært regime. Er det sånn at alle starter på null? Hvilke bias er bygget inn og hvordan er algoritmen vektet. Hva teller mest? Vil man bli straffet for å eksistere så lite som mulig digitalt? Algoritmene som lager rangeringen er så langt en sort boks, så dette får man ikke vite.

Dette systemet virker som for meg som avkommet til 1984 og Black Mirror-episoden Nosedive — ganske så skremmende.