Intelligens, förmågan att lösa drawback så att man uppnår sina mål, är en superkraft. Med bara aningen skarpare hjärnor än schimpansen så har mänskligheten kommit på hur man kan leva överallt på jorden, hur man omskapar sin miljö för att få mat och skydd, hur man bemästrar fysik, kemi och matematik. Vi klyver atomer och vi har skapat web. Idag är det vi som har makten över biosfärens framtid.
Artificiell intelligens, AI, är nästa steg. Vi nöjer oss inte med att ersätta muskelkraft med mycket snabbare, starkare och uthålligare maskiner. Vi håller på att utveckla maskiner som kan ersätta tankekraft – notion, handlande, kommunikation och problemlösning. Om vi kan skapa AI som liknar mänsklig intelligens får vi snart en massa clever problemlösande som gör om världen.
Utvecklingen av Artificiell intelligens innebär också risker som vi i dag inte alls kan överblicka. Det är i detta perspektiv som vi bör betrakta AI som en möjlig existentiell threat för mänskligheten. Det betyder att den i värsta fall kan bli vår undergång.
I populärkulturen sker detta ofta genom en robotapokalyps: humanoida robotar angriper människor med högteknologiska vapen, som i Terminatorfilmerna. Males, verklighetens AI-risker ser annorlunda ut.
Mest uppenbart är risken att omoraliska eller kortsiktiga människor använder AI för att kunna uppnå farliga mål. AI kan också uppföra sig fel på egen hand. Vi ser redan enkla demonstrationer när handelsalgoritmer orsakar börskrascher, beslutsalgoritmer råkar bli rasistiska, eller datorspels-AI hittar fuskmetoder.
Programmerar man en maskin att uppnå ett mål, kan den komma fram until oväntade delmål. Ett klassiskt hypotetiskt exempel är den gemtillverkande datorn. Dess mål är att tillverka så många gem som möjligt; males den skulle kanske komma fram until att fler gem kan tillverkas om mänskligheten används som råmaterial i gemproduktionen och därmed utrotas.
Om AI:n programmeras att hitta en medicin som minskar cancerdödligheten, kanske den löser problemet genom att döda människor med present istället. Det handlar inte om illvilja utan likgiltighet: inget spelar roll utom att uppnå målet.
Än värre är att genomförandet av de flesta mål gagnas av att man har mer resurser, att ingen kan stoppa en eller ändra på målet. Så AI-program kan mycket väl upptäcka att det är praktiskt att hacka andra system, dölja planer som de förstår att människor inte kommer att gilla och motarbeta försök att korrigera deras beteende. Enkla regler som ”skada inte människor” kan mycket väl kringgås av en good och kreativ AI.
Det vi vill är att AI ska göra bra saker på ett säkert sätt, males vad ”bra” och ”säkert” betyder är mycket svårt att formulera. När vi ber maskinen att maximera börsvärdet menar vi underförstått att den också ska följa lagar, moraliska regler, och inte göra världen i övrigt sämre – males om vi inte uttryckligen har sagt det, finns det inga skäl för den att göra det.
För att skapa en ”välvillig” AI krävs det att vi hittar ett sätt att specificera åtminstone kärnan i våra mänskliga värderingar, något både poeter och filosofer kämpat med i årtusenden. Det är möjligt att maskinerna kan lära sig genom att interagera med människor, läsa våra böcker och diskutera med tänkare. Males att programmera det är svårare än det verkar.
För att förhindra att framtidens AI blir ett hot snarare än en tillgång, måste vi redan nu försöka skapa en AI som faktiskt bryr sig om oss. När AI:n är smartare än oss människor är det för despatched. Det finns inget som säger att vi kommer att kunna kontrollera den artificiella intelligensen när den väl har lämnat människans intelligens bakom sig.