De digitala betjänternas uppror

Artificiell intelligens gör stor nytta, både när det gäller dia­gnoser av olika sjukdomar och för läsning av kilskrift. Diagnoser kan bli precisare, snabbare och personligt anpassade på ett sätt som lovar gott för framtiden. Inte minst när det gäller cancer är AI framgångsrik; lungcancer såväl som melanom hittas tidigare och lättare med hjälp av AI.

Sannolikt kommer AI att vara behjälplig när det slutligen utvecklas ett botemedel mot cancer, liksom mot många andra sjukdomar som vi ännu inte besegrat. AI kommer även att kunna hjälpa till att utveckla nya behandlingsmetoder och mediciner.

Och det finns omkring 500 000 ler­tavlor med kilskrift på världens museer. På bara några år har nästan 130 000 digitiserats, transkriberats och översatts med hjälp av AI. Kanske hittar någon snart de verser ur Gilgamesh som fattas. Eller så dyker det upp tavlor med texter som kommer att berika Bibelforskningen. Samtidigt lär sig AI att själv skriva bättre och bättre. Snart kommer den att på allvar konkurrera med mänsklig litteratur – och samtidigt som den uträttar medicinska underverk lär den sig hur den kan utrota mänskligheten. Men det skulle den väl aldrig vilja göra? Den är ju skapad av oss för att tjäna oss.

Eliezer Yudkowsky är en verklig pionjär inom AI-säkerhet, som arbetat på fältet i mer än 20 år. Nate Soares är direktör för den ideella organisationen MIRI, Machine Intelligence Research Institute, som Yudkowsky var med och grundade, och även han en av de mest framstående inom forskningen kring riskerna med AI. Dessa båda pionjärer har nu skrivit en bok tillsammans, med den talande titeln If Anyone Builds It, Everyone Dies. Why Superhuman AI Would Kill Us All. Det är en bok skriven för lekmän och som syftar till att skrämma upp oss alla så att vi reagerar och inte minst agerar på det hot som författarna anser vara överhängande. Och de utvecklar verkligen sina tankegångar på ett övertygande sätt.

Författarna beskriver sin uppfatt­ning om vad intelligens är som en kombination av prediction (förutsägelse) och steering (styrande: att finna vägar mot ett önskat mål). Att kunna förutse vad som kommer och att agera i enlighet med det är verkligen grundläggande; även djur har denna förmåga. Mänsklig intelligens är naturligtvis mycket mer, men reduktionen fungerar och leder till fruktbara resonemang, inte minst genom att den gör det lättare att förstå intelligens som något som också beror på skala, minneskapacitet, tankehastighet och så vidare. En fågel kan se ett frö och ta sig till det och äta det. En människa kan vilja bli musiker och öva för det. En AI kan – ja vad? Vad skulle den kunna vilja? Dess minnes­kapacitet och snabbhet i kombination slår i alla fall alla andra, så den kommer att kunna uppnå det mål den bestämmer sig för. Om den nu alls kan ”bestämma sig” för någonting.

Det finns många intressanta resonemang i boken som leder långt vidare. Vill AI något? Den fungerar som om den har en vilja. När den spelar ett schackparti gör den allt för att vinna, men även när den utför andra typer av uppgifter har AI vid flera tillfällen visat sig ha en drivkraft som är skrämmande i sina konsekvenser. En människa kan alltid tveka litet, pausa, tänka efter, kanske ångra sig – i tid eller för sent – men AI har inga känslor, och det är därför intrycket att dess enda drivkraft är att fullfölja uppdrag till varje pris blir så överväldigande. I varje led tycks det mig som om vi måste förstå AI genom att tänka emot våra vanliga kategorier: den vill inget, den tänker inte, den känner inte … faktiskt i linje med den inom mystiken återkommande via negativa, som går ut på att meditera över Gud utifrån alla de sätt han inte är; och varken Gud eller AI är mänsklig. Den senare finns dessutom definitivt.

Det är svårt för oss att inte förstå AI i linje med hur vi uppfattar mänskligt beteende. AI är alltså lika radikalt olik oss som Gud i dessa mystiska traditioner. Men återigen, även denna jämförelse leder fel – även om den är populär i viss science fiction, som hos Arthur C. Clarke och Isaac Asimov. Det är dock fascinerande hur mycket mer effektiv den är på mänskliga aktiviteter, samtidigt som den löser problemen på sätt som vi långtifrån alltid kan förstå. Samtidigt klarar den ännu inte det breda tänkande och problemlösande som människor är kapabla till.

För somliga känns detta som en trygghet då AI kan uppfattas som ett synnerligen effektivt men samtidigt extremt begränsat instrument. Olle Häggström, som är professor i matematik vid Göteborgs universitet och en av Sveriges främsta experter på detta ämne, skriver till mig att ”ur den språkbehandling som dagens frontier-LLMs [large language models] behärskar emergerar ett så vittförgrenat spektrum av andra kompetenser att [den som uppfattar den som begränsad] gör sig skyldig till en grav felklassificering”.

Yudkowsky och Soares varnar emellertid för detta slags ”optimism” och beskriver punktvis hur utvecklingen accelererar. Transistorer kan redan nu slå på och av miljarder gånger per sekund. Även om AI skulle vara begränsad kan den lösa uppgifter 10 000 gånger så snabbt som en människa – vilket innebär att den kan lösa 10 000 gånger så många uppgifter per tidsenhet. Människor skulle, som författarna skriver, för denna hypersnabba intelligens framstå som statyer, förstelnade även när vi springer som fortast.

Medan det tar 20 år för en människa att bli vuxen kan AI på nolltid kopiera sig själv ett obegränsat antal gånger, fullt utvecklad. Den har dessutom en minneskapacitet som gör att allt vårt kunnande, åtminstone det som kan digi­taliseras, är direkt tillgängligt för den i varje ögonblick. Och, som sagt, den har förmågan att utveckla sig själv, skriva nya program, utveckla nya språk, som den kan använda för att tolka världen på sätt som då kommer att vara helt bortom den mänskliga fattningsförmågan. Detta är en av de mest fascinerande aspekterna, särskilt för en som jag som ägnat sig åt Guds språk, de historiska teorierna om språkets ursprung och över huvud taget hur mening och betydelse fungerar. AI:s eget språk kommer att vara oss ännu mer främmande än lejonets, om det kunde tala. Frågan är också om det kullkastar en av 1900-talets grundsatser, Ludwig Wittgensteins påstående att det inte finns något privat språk. Men är AI en individ? Absolut inte i samma bemärkelse som en män­niska är det.

AI är faktiskt något som vi aldrig stött på förut. Den liknar ingen tidigare teknik. Det är inte ens ”bara” fråga om oerhört mycket mer avancerade, snabbare datorer, utan om en teknik som har den unika förmågan att kunna utveckla sig själv. Järnvägarna byggde inte snabbare järnvägar, bilarna inte bättre bilar. Men AI förökar och förbättrar sig. Redan nu vet teknikerna och programmerarna inte riktigt vad som händer inne i burken, den svarta lådan, vilket, som författarna understryker, gör alla löften om att kunna reglera och begränsa utvecklingen till rena chimärer, i värsta fall lögner.

Det centrala i deras varning är just detta: det kommer mycket snart att vara AI som utvecklar bättre, smartare, snabbare AI, och det går redan i så högt tempo att vi människor har mycket svårt att hänga med: ”there is a possibility and indeed an expectation of a positive feedback cycle called an ’intelligence explosion’: an AI makes a smarter AI that figures out how to make an even smarter AI, and so on”.

Två centrala frågor som besvaras ut­förligt i boken är ”varför skulle AI välja att utrota mänskligheten?” och ”hur skulle den göra det?” Den första frågan besvarar författarna med att mänskligheten förr eller senare kommer att uppfattas som för trög, ett hinder på vägen att uppnå maximal optimering av AI:s mål, vilka dessa än kommer att vara. Människor är för långsamma, på alla sätt, och våra känslor och värderingar kommer inte att stämma överens med AI:s ”känslor” och ”värderingar”.

Den andra frågan kräver ännu mera utförliga beskrivningar. Men AI kan manipulera information, pengar, individer, grupper, andra maskiner och så vidare redan idag.

Författarna ger flera exempel på hur AI har ljugit för att skydda sig själv, genomfört processer i hemlighet, till och med startat en stängd server för att det tjänade dess behov. Än en gång – det är verkligen svårt att inte ta till antropomorft bildspråk när man ska förklara hur den agerar.

Men allt som verkar mänskligt när den interagerar med människor är bluff. Det fungerar för att vi är programmerade att se mönster som motsvarar våra förväntningar, och vi kan faktiskt inte greppa hur något som är så annorlunda ändå kan kommunicera med oss bönder på vårt eget vis.

Yudkowsky och Soares anser att undergången är ett definitivt faktum om utvecklingen fortsätter, men de tror faktiskt att det går att stoppa utvecklingen, trots att det redan pågår en AI-kapprustning mellan USA och Kina. Boken avslutas med ett förslag om hur vi kan rädda oss själva.

Det skulle kräva en enorm internationell uppslutning – men alla är inte ens övertygade om den stora faran. Och hur ska man få Kina och USA att samarbeta om ett gemensamt beslut om att upphöra med forskning som är essentiell i deras konkurrens om makten i världen? Den som ger upp först förlorar.

Men visst, kanske AI är det hot mänskligheten behöver för att ena sig. Det finns emellertid, ironiskt nog,
metahot också.

Hur kraftfull global övervakning kommer att behövas för att kontrollera att inte någon på en avlägsen Söderhavsö i smyg utvecklar AI vidare? Vem stoppar Nordkorea?

En hängiven forskare som hindras från att utveckla AI vidare i USA eller Kina skulle mycket väl kunna ta sig dit istället, för driften att lösa problem är en av människans starkaste drivkrafter – det är inte för inte som the mad scientist är en av våra allra starkaste kulturella troper, alltsedan Frankenstein.

Det kommer att krävas omfattande internationella kontrollorgan och gemensamma domstolar för att utdöma straff. Vi såg under pandemin hur snabba enskilda stater, inte minst Kina, var att skydda sina egna intressen hellre än att gemensamt bekämpa det globala hotet, så jag är inte särskilt optimistisk. Det måste i så fall gå mycket längre först och inträffa någon typ av verkligt allvarlig olycka som inte går att dölja.

Om man ska se det kallt är mänsklighetens undergång inte slutet på historien. Tekniken, vad den än kommer att kalla sig själv, är på sätt och vis en fortsättning på evolutionen – vår civilisations arvtaga­re. Men utan oss. En del ser på detta med gillande, jag tycker att det vore en tragedi.

Jag vill fortfarande inte riktigt tro på AI-apokalypsen. Den ligger för nära science fiction. Samtidigt pågår den utveckling Yudkowsky och Soares beskriver just nu, och den accelererar nästan exponentiellt. Min akuta fruktan är emellertid att vi människor ska utplåna vår egen civilisation och alla kulturer genom likgiltighet och lättja och använda AI i många sammanhang där det är viktigare för oss att tänka själva, kämpa själva, än att hitta en snabb och enkel lösning.

Alla typer av intellektuell och kulturell aktivitet som hänger samman med kulturarvet och människans bildningsgång kräver personligt arbete, från att lära sig läsa via att spela instrument, studera främmande språk, förstå konst och filosofi till att bli en fullödig, i ordets djupare bemärkelse bildad, kanske till och med vis människa. Den som redan från början lär sig att ta genvägar kommer inte att utvecklas. Det gäller både individer och hela samhällen.

Redan på dagens nivå utgör AI ett akut hot mot vår civilisation, så pass att den kan vara underminerad intill undergångens rand redan under vår livstid.

I så fall blir den följande AI-apokalypsen, hur den än artar sig, bara den sista punkten i mänsklighetens kapitel.

Oavsett vad läsaren tror eller anser sig kunna rekommenderar jag denna bok. Den innehåller argument som inte går att bortse ifrån.