Kappløpet ingen vil løpe
Det er et trekk ved hele denne striden som forvirrer folk mer enn noe annet, og det er på tide å se det rett i øynene. Mange av dem som advarer aller sterkest mot faren, bygger samtidig de kraftigste maskinene. Vi har alt møtt mannen som anslår én sjanse av fire for katastrofe og fortsetter å bygge likevel. Vi har sett selskaper be om regulering offentlig og motarbeide bindende regler i kulissene. Er det bare hykleri? Jeg tror det er noe mer interessant, og mer urovekkende, enn som så. Jeg tror det er en felle innebygd i selve situasjonen.
Avguden vi alle ofrer til
En blogger ga for noen år siden et gammelt fenomen et nytt navn. Mange av verdens verste problemer, skrev han, skyldes ikke onde mennesker. De skyldes at hver enkelt aktør handler fornuftig ut fra sine egne vilkår, og at resultatet likevel blir noe ingen ønsket. Han kalte kraften en gammel avgud man ofret barn til, for å fange at det ikke finnes noen ond skikkelse å klandre. Presset oppstår av systemet selv. Mekanismen er enkel og nådeløs. I et konkurransesystem vil den som verner om en verdi, sikkerheten, forsiktigheten, samvittigheten, tape mot den som ofrer den for et forsprang. Og når den ene gjør det, tvinges alle de andre til å følge etter, eller bli akterutseilt. Det blir et kappløp mot bunnen, ikke fordi noen vil dit, men fordi ingen tør å la være. Det forklarer paradokset som så ut som hykleri. Lederen som bygger og frykter på en gang, lyver ikke nødvendigvis. Han er fanget. «Stopper jeg, vinner konkurrenten, og da er vi like langt, bare uten meg ved roret.» Den enkelte kan ikke bremse uten å tape, selv om alle ville vært tjent med at alle bremset samtidig. Det er det vanskelige med det: det er ingens feil, og derfor ingen å overtale.
Derfor skjedde aldri pausen
Du husker kanskje at det i 2023 gikk ut et opprop, undertegnet av titusener, om å pause de kraftigste forsøkene i et halvt år. Pausen skjedde aldri. Og nå skjønner vi hvorfor. Ingen enkelt aktør kunne pause uten å sakke akterut, og det fantes ingen mekanisme til å binde alle samtidig. Oppropet satte dagsorden, men det rørte ikke ved insentivene, og det er insentivene som styrer. Den samme kraften lå under skiftet vi nettopp så, fra møtet om sikkerhet til møtet om handling: da konkurransepresset økte, tapte forsiktigheten.
Når det er stater som løper
Verre blir det når det ikke er selskaper, men stormakter, som løper. Da legger det geopolitiske presset seg oppå alt det andre. Argumentet «hvis ikke vi, så Kina» brukes til å avvise enhver brems, og motsatt. Noen har foreslått en parallell til atomvåpnene: at ethvert forsøk fra én stat på total dominans vil møtes med sabotasje fra de andre, slik gjensidig utslettelsestrussel en gang stabiliserte atomkappløpet. Om det er en betryggende tanke eller en skremmende en, er ikke godt å si. Men kjernen er den samme knipa: begge parter ser risikoen, og ingen tør å trappe ned uten å vite at den andre gjør det samme.
Men fellen er ikke skjebne
Her må jeg løfte den andre hånden, for ellers blir dette en unnskyldning forkledd som en forklaring. Kappløpet er ikke uunngåelig. Vi har sett det selv. Genforskerne stanset seg en gang frivillig, før noen myndighet tvang dem; vi så riktignok hvor skjør den enigheten var den dagen én forsker valgte å bryte den, men koordineringen var like fullt ekte mens den varte. Verden ble enig om en resolusjon mot de selvstyrte våpnene, med overveldende flertall. Europa fikk på plass en bred lov. Koordinering er vanskelig, men den er ikke umulig, og historien har flere eksempler enn vi liker å huske når vi skal forklare hvorfor vi ikke kan stoppe. Og nettopp derfor må vi være på vakt mot misbruket. For «vi har ikke noe valg, det er et kappløp» er også en setning som passer utmerket for den som helst vil slippe regler. Den ekte koordineringsfellen, der alle taper og ingen tør stoppe, må skilles fra den påberopte, der noen bare finner det beleilig å si at de ikke har noe valg. Det er den samme sorteringsoppgaven igjen: å skille det som virkelig ikke lar seg løse, fra det noen bare ikke vil løse.
Hvorfor dette må komme før psykologien
Det er en grunn til at jeg har lagt dette kapittelet akkurat her, rett før vi vender blikket innover mot oss selv. For når vi nå snart skal spørre om en del av motstanden mot kunstig intelligens kan handle om noe i menneskesinnet, om stolthet, om frykten for å ikke sitte øverst, da er det avgjørende at vi har sett dette først. Mye av det som ser ut som hybris og uansvarlighet i denne striden, er ikke et trekk ved sjelen i det hele tatt. Det er insentivstrukturen. Det er kappløpet. Før vi tyr til psykologien for å forklare hvorfor mennesker oppfører seg som de gjør, skal vi alltid se etter den enklere forklaringen først: at de er fanget i et spill ingen av dem kan forlate alene. Den som glemmer det, kommer til å lese ego inn i det som egentlig er felle. Men med det forbeholdet godt festet, kan vi endelig stille spørsmålet boken har sirklet rundt fra første side. For under teknologien, under pengene, under kappløpet, ligger det kanskje noe i oss selv. Og det er på tide å se på det.
Det er et trekk ved hele denne striden som forvirrer folk mer enn noe annet, og det er på tide å se det rett i øynene. Mange av dem som advarer aller sterkest mot faren, bygger samtidig de kraftigste maskinene. Vi har alt møtt mannen som anslår én sjanse av fire for katastrofe og fortsetter å bygge likevel. Vi har sett selskaper be om regulering offentlig og motarbeide bindende regler i kulissene. Er det bare hykleri?
Jeg tror det er noe mer interessant, og mer urovekkende, enn som så. Jeg tror det er en felle innebygd i selve situasjonen.
Avguden vi alle ofrer til
En blogger ga for noen år siden et gammelt fenomen et nytt navn. Mange av verdens verste problemer, skrev han, skyldes ikke onde mennesker. De skyldes at hver enkelt aktør handler fornuftig ut fra sine egne vilkår, og at resultatet likevel blir noe ingen ønsket. Han kalte kraften en gammel avgud man ofret barn til, for å fange at det ikke finnes noen ond skikkelse å klandre. Presset oppstår av systemet selv.
Mekanismen er enkel og nådeløs. I et konkurransesystem vil den som verner om en verdi, sikkerheten, forsiktigheten, samvittigheten, tape mot den som ofrer den for et forsprang. Og når den ene gjør det, tvinges alle de andre til å følge etter, eller bli akterutseilt. Det blir et kappløp mot bunnen, ikke fordi noen vil dit, men fordi ingen tør å la være.
Det forklarer paradokset som så ut som hykleri. Lederen som bygger og frykter på en gang, lyver ikke nødvendigvis. Han er fanget. «Stopper jeg, vinner konkurrenten, og da er vi like langt, bare uten meg ved roret.» Den enkelte kan ikke bremse uten å tape, selv om alle ville vært tjent med at alle bremset samtidig. Det er det vanskelige med det: det er ingens feil, og derfor ingen å overtale.
Derfor skjedde aldri pausen
Du husker kanskje at det i 2023 gikk ut et opprop, undertegnet av titusener, om å pause de kraftigste forsøkene i et halvt år. Pausen skjedde aldri. Og nå skjønner vi hvorfor. Ingen enkelt aktør kunne pause uten å sakke akterut, og det fantes ingen mekanisme til å binde alle samtidig. Oppropet satte dagsorden, men det rørte ikke ved insentivene, og det er insentivene som styrer. Den samme kraften lå under skiftet vi nettopp så, fra møtet om sikkerhet til møtet om handling: da konkurransepresset økte, tapte forsiktigheten.
Når det er stater som løper
Verre blir det når det ikke er selskaper, men stormakter, som løper. Da legger det geopolitiske presset seg oppå alt det andre. Argumentet «hvis ikke vi, så Kina» brukes til å avvise enhver brems, og motsatt. Noen har foreslått en parallell til atomvåpnene: at ethvert forsøk fra én stat på total dominans vil møtes med sabotasje fra de andre, slik gjensidig utslettelsestrussel en gang stabiliserte atomkappløpet. Om det er en betryggende tanke eller en skremmende en, er ikke godt å si. Men kjernen er den samme knipa: begge parter ser risikoen, og ingen tør å trappe ned uten å vite at den andre gjør det samme.
Men fellen er ikke skjebne
Her må jeg løfte den andre hånden, for ellers blir dette en unnskyldning forkledd som en forklaring. Kappløpet er ikke uunngåelig.
Vi har sett det selv. Genforskerne stanset seg en gang frivillig, før noen myndighet tvang dem; vi så riktignok hvor skjør den enigheten var den dagen én forsker valgte å bryte den, men koordineringen var like fullt ekte mens den varte. Verden ble enig om en resolusjon mot de selvstyrte våpnene, med overveldende flertall. Europa fikk på plass en bred lov. Koordinering er vanskelig, men den er ikke umulig, og historien har flere eksempler enn vi liker å huske når vi skal forklare hvorfor vi ikke kan stoppe.
Og nettopp derfor må vi være på vakt mot misbruket. For «vi har ikke noe valg, det er et kappløp» er også en setning som passer utmerket for den som helst vil slippe regler. Den ekte koordineringsfellen, der alle taper og ingen tør stoppe, må skilles fra den påberopte, der noen bare finner det beleilig å si at de ikke har noe valg. Det er den samme sorteringsoppgaven igjen: å skille det som virkelig ikke lar seg løse, fra det noen bare ikke vil løse.
Hvorfor dette må komme før psykologien
Det er en grunn til at jeg har lagt dette kapittelet akkurat her, rett før vi vender blikket innover mot oss selv. For når vi nå snart skal spørre om en del av motstanden mot kunstig intelligens kan handle om noe i menneskesinnet, om stolthet, om frykten for å ikke sitte øverst, da er det avgjørende at vi har sett dette først.
Mye av det som ser ut som hybris og uansvarlighet i denne striden, er ikke et trekk ved sjelen i det hele tatt. Det er insentivstrukturen. Det er kappløpet. Før vi tyr til psykologien for å forklare hvorfor mennesker oppfører seg som de gjør, skal vi alltid se etter den enklere forklaringen først: at de er fanget i et spill ingen av dem kan forlate alene. Den som glemmer det, kommer til å lese ego inn i det som egentlig er felle.
Men med det forbeholdet godt festet, kan vi endelig stille spørsmålet boken har sirklet rundt fra første side. For under teknologien, under pengene, under kappløpet, ligger det kanskje noe i oss selv. Og det er på tide å se på det.