Sosiale medier, selvmord og maskinlæring

Facebook driver i disse dager og ruller ut ny teknologi i store deler av verden som kalles «proactive detection». Teknologien brukes maskinlæring (ai) for å kjenne igjen signaler og flagge poster som kan peke på at brukeren har selvmordstanker, prioritere disse etter risiko, sende de til manuell kontroll, og komme med en passende respons. Respons kan være å sende brukeren melding med ressurser for å håndtere selvmordstanker, kontakte venner, eller i siste instans kontakte nødetater.

Det er en kjent sak at selv profesjonelle er dårlige til å vurdere selvmordsrisiko og metoder basert på selvrapportering er heller ikke effektive, så kanskje det er på tide å gi datamaskinen en sjanse. Tidlige data fra Facebook viser at algoritmene er flinkere enn venner til å flagge brukere med forhøyet risiko, og det har blitt forsket en del på dette både ved å bruke maskinlæring på pasientjournaler og i tekstanalyse.

Denne typen dataanalyse fungerer ved å se etter komplekse mønstre og sammenhenger mellom variabler i datasett. I strukturerte data som pasientjournaler kan den se etter kombinasjoner av medisiner, diagnoser, mv. I tekst kan den se etter for eksempel kombinasjoner av ord. Algoritmen trenes først med datasett der man vet det «riktige svaret» på forhånd, og mønstrene algoritmene finner er ikke nødvendigvis åpenbare for mennesker.

Et særlig interessant prosjekt ble startet av Colin Walsh på Vanderbilt University Medical Center. De trente en maskinlæringsalgoritme for å anslå om pasienter hadde selvmordsrisiko basert på informasjon i pasientjournal, og endte opp med å kunne anslå sannsynlighet for selvmordsforsøk med 80–90% de neste to årene, og 92% neste uke. Ett av de mer overraskende funnene var at bruk av melatonin var en signifikant faktor når algoritmen beregnet risiko. Melatonin i seg selv gir ikke noen økt risiko for selvmord, men det skrives ofte ut til mennesker som har søvnforstyrrelser, og søvnforstyrrelser er sterkt nyttet til selvmord.

Alt dette er vel og bra, men de fleste som har risiko for selvmord har ikke en legejournal som kan analyseres. Da kan man se på hvordan folk skriver, og se om det er ord og kombinasjoner av ord som går igjen. Dette gjøres blant annet av Crisis Text Line (CTL), som er en direktemeldingstjeneste satt opp som alternativ til de mer vanlige telefontjenestene. Tanken er at noen mennesker vil ha lettere for å henvende seg skriftlig.

CTL bruker maskinlæringsalgoritmer for å prioritere køen, slik at de som viser høyere risiko vil få noen å skrive med først. I begynnelsen hadde de en menneskelig utarbeidet liste over ord som de mente indikerte høyere risiko for selvmord; slik som dø, kutte, selvmord, drepe. Etter å ha jobbet med maskinlæringsalgoritmer fant de ut at det slettes ikke var disse ordene som indikerte risiko best, men ord som Ibuprofen (advil), Paracet og referanser til andre reseptfrie medisiner. Bruken av gråtende emojier var en 11 ganger større predikator på om brukeren kom til å trenge «aktiv intervensjon» enn ordet «selvmord»

Det er til og med gjort forsøk der man har analysert innhold på Instagram — både bilde og metadata, etter tegn på depresjon med større treffsikkerhet enn en vanlig allmennlege. Tegnene på depresjon var også til stede i bildene før brukeren hadde blitt diagnostisert av helsepersonell.

Bildene du tar, hvordan du formulerer deg og selve innholdet i det du skriver, kan altså fortelle mye om sinnstilstanden din, men å gjøre disse koblingene er ikke alltid like lett for mennesker. Og da er vi tilbake til begynnelsen: Hvis vi implementere denne type algoritmer der mennesker er, som Facebook, er det noen større etiske dilemmaer man må passer seg for her, og veier mulige fordeler opp for ulempene?

Forskning tyder på at det i alle fall ikke gjør det verre å spørre mennesker om de tenker på selvmord, og at det til og med kan gjøre det bedre å snakke om det. Tidlig intervensjon trekker også i positiv retning.

Samtidig er det mulig å se for seg problemer knyttet til denne typen analyse, særlig i form av «mission creep». Jo mer presise modeller man får, jo større muligheter har man for segmentering av brukere. I dag bruker man maskinlæring til å finne mennesker med selvmordsrisiko, i morgen for å finne politiske dissidenter eller spisse markedsføring mot spesielt mottakelige.

Et annet problem er mangelen på «opt out», at man ikke skal kunne reservere seg mot denne typen profilering. Samtidig kan det tenkes at det er nettopp menneskene man ønsker å nå som kan tenke seg å reservere seg mot denne typen verktøy. Til slutt er det problemet med behandlingsgrunnlag ved denne typen automatisert behandling, som sannsynligvis er årsaken til at denne tjenesten i sin nåværende form ikke blir lansert i Europa.

Så om Facebook vil oppfordre deg til å ta kontakt med en venn som sliter, gi informasjon til de som trenger det eller sørge for at nødhjelp kommer fortere, burde vi kanskje vurdere mulighetene her.