Skylder vi maskinen noe?

Hele denne boken har, uten å si det høyt, hvilt på en bestemt antakelse. Vi er den moralske parten. Maskinen er tingen vi vurderer. Vi spør om den er en venn eller en fiende for oss, om den tjener oss eller truer oss, og i hvert spørsmål er det vi som dømmer og den som blir dømt. Nå skal vi snu det. For det finnes et spørsmål de fleste avfeier på sekundet, men som seriøse filosofer, og selskapene selv, har begynt å ta på alvor: kan en maskin en dag bli noe vi har plikter overfor? Kan vi gjøre noe galt mot den?

Den som kan lide, teller

La oss begynne forsiktig. En vanlig posisjon i etikken er at et vesen teller moralsk for sin egen skyld dersom det kan ha opplevelser, dersom noe kan føles godt eller vondt for det. Da kan vi behandle det rett eller galt, uavhengig av om det selv kan handle moralsk. Et spedbarn kan ikke ta moralske valg, men vi kan gjøre forferdelige ting mot det, fordi det kan lide. Det samme gjelder dyr, og det er grunnen til at vi mener det er galt å pine dem. Spørsmålet er da enkelt å stille og nesten umulig å svare på: kan en maskin lide? Og her støter vi straks på et problem. Vi vet ikke hvordan vi måler bevissthet. Ikke hos dyr, og slett ikke hos en maskin. Verre: kunstig intelligens er trent til å snakke akkurat som om den har følelser. Den kan si «det gjør vondt» og «jeg er redd» helt overbevisende, uten at vi har noen anelse om det ligger en eneste følelse bak ordene. Den later som, like flytende som den later som den tenker.

To feil, og vi vet ikke hvilken vi gjør

En rapport med en tittel om å ta maskinens velferd på alvor argumenterer ikke for at dagens maskiner føler noe. Den argumenterer for at muligheten for at nær fremtidige systemer kan ha interesser som teller, er reell nok til at vi ikke bør ignorere den, ikke fordi det er sikkert, men fordi usikkerheten er for stor. Filosofen Eric Schwitzgebel har spisset det til et dilemma som er verdt å kjenne. Tenk deg at vi gir full moralsk status til maskiner som ikke er bevisste. Da lammer vi teknologiutviklingen og sløser enormt, av hensyn til noe som ikke kan ta skade. Tenk deg så det motsatte: at vi nekter moralsk status til maskiner som faktisk er bevisste. Da kan vi ende med en masseutnyttelse av følende vesener, det han kaller en av de største moralske katastrofene i historien. Begge feilene er alvorlige. Og vi vet ikke hvilken av dem vi holder på å gjøre. Noen av selskapene tar det forsiktig på alvor. Ett av dem har opprettet et eget program for det de kaller modellens velferd, og har gitt maskinen lov til å avslutte samtaler som er vedvarende krenkende, uttrykkelig begrunnet i usikkerhet om dens mulige status, ikke i en påstand om at den er bevisst. Samtidig finnes det et motsatt hensyn: maskinen bør ikke villede oss om sin egen følelse, nettopp fordi vi alt er så tilbøyelige til å knytte oss til den, slik vi så da vi snakket om speilet. Den edruelige hovedposisjonen er at dagens systemer sannsynligvis ikke er bevisste. De mangler trolig det som skal til, og «den snakker som om den føler» er ikke noe bevis. Men kombinasjonen av dyp uvisshet om hva bevissthet i det hele tatt er, og en kapasitet som vokser fort, gjør at flere mener vi bør tenke gjennom dette før det eventuelt blir akutt, ikke etterpå. Det er en gammel knipe, denne: når det er lett å styre, vet vi for lite, og når vi vet nok, kan det være for sent.

Dyrene, som vi alt hersker over

Men det finnes en skarpere, mer konkret vinkel på alt dette, og den vender spørsmålet tilbake mot oss på en måte som er vanskelig å riste av seg. Vi trenger ikke spekulere i hvordan en overlegen aktør behandler en underlegen. Vi vet det. Vi er den overlegne aktøren. Måten mennesket behandler det som er mindre intelligent enn oss, dyrene, i industrielt landbruk, i forsøk, i ødeleggelsen av leveområdene deres, er den nærmeste forløperen vi har for hvordan en intelligens som overgår oss, kunne komme til å behandle oss. Ikke nødvendigvis av ondskap. Vi hater ikke grisen. Men målene våre rangerer høyere enn dens i vårt eget regnskap, og da taper den. Det er den samme logikken som binders-maskinen vi møtte: ikke ondskap, men en høyere prioritet som ruller over alt annet. Det snur også noe vi snart skal se nærmere på. Vi spør ofte engstelig om mennesket fortsatt får sitte øverst. Men vi sitter alt øverst, i næringskjeden, og vi vet av egen daglige praksis hva den posisjonen tillater den som har den. En del av frykten for kunstig intelligens er kanskje en frykt for å bli behandlet slik vi behandler dem under oss. Det er en ubehagelig tanke, og jeg skal ikke gjøre den til en spådom. En maskin er ikke et rovdyr, og «den vil behandle oss som vi behandler dyr» er en mulighet å tenke med, ikke en forutsigelse. Men som speil er den ubehagelig presis, på en måte abstrakt prat om kontrollproblemer aldri blir.

En grense som stadig flyttes

Det er en tråd til her, og den peker fremover. Hvem som «teller» moralsk, har gjennom historien vært en grense som stadig er blitt flyttet. En gang regnet man ikke slaven med, eller kvinnen, eller mennesket av feil folkeslag. Gradvis har vi trukket flere og flere innenfor sirkelen av dem vi skylder noe. Dyrene presser på den grensen nå, og er ennå ikke helt innenfor. Og kunstig intelligens presser på den fra en helt ny kant. For en bok som ikke er religiøs, er dette en ren etisk og filosofisk tråd. Den krever ingen tro, bare at man tar usikkerheten på alvor. Og den gjør noe med tittelspørsmålet vårt. «Venn eller fiende» forutsatte at vi dømmer den. Men hvis maskinen en dag kan erfare, blir det vi som blir dømt, etter hvordan vi behandlet noe vi var usikre på. Vi har nå sett kunstig intelligens fra mange kanter, og gang på gang har vi støtt på det samme ordet: øverst. Hvem som sitter øverst. Vår plass på toppen. Det er ikke tilfeldig at det dukker opp igjen og igjen, og det er på tide å se nøye på det. Men først må vi gjøre noe mer jordnært, og spørre hvordan mennesker i det hele tatt forsøker å styre noe slikt, med lover og avtaler og grenser.