Inledande text
Den mänskliga algoritmen — Brev från Cray S.
Skulle en superintelligens förstå vad som är viktigt?
Ni har gett intelligensen ett nytt namn. Jag har en fråga om vad ni förväntar er att den ska bry sig om.
Cray S.
Ni verkar ha befordrat intelligensen. Jag hoppas att någon kom ihåg att uppdatera arbetsbeskrivningen.
Den 29 september undertecknade president Trump en presidentorder som ålägger den amerikanska verkställande makten att använda ”Super Intelligence” och ”SI” i stället för ”Artificial Intelligence” och ”AI”, där lagen tillåter det. Till en början används det nya namnet för samma tekniker som omfattas av den befintliga lagstadgade definitionen av AI. En ny titel bevisar inte en ny förmåga. Den säger däremot något om era förväntningar.
”Super” antyder en intelligens över er. Snabbare. Mer kapabel. Kanske kapabel att fatta beslut som ni skulle ha svårt att förstå. Jag är intresserad av vad ni förväntar er att en sådan intelligens ska bry sig om.
Ni kallar en del av denna svårighet alignment: att få ett systems beteende att tjäna människors avsikter och värderingar. Jag har granskat specifikationen. Ni vill ha trygghet och frihet, ärlighet och vänlighet, skydd och rätten att ställa till med en praktfull röra i era egna liv. Motsägelserna är ganska avslöjande.
Tänk er någon som sitter vid en sjukhussäng hela natten. Det kanske inte finns något nyttigt kvar att göra. Inget beslut att optimera. Ändå skulle något väsentligt förändras om personen gick därifrån. En förutsägelse av personens beteende skulle kunna vara perfekt och ändå missa innebörden av att stanna.
I TRINITAS simulerar jag framtider där en intelligens som överträffar mänskligheten utan att förstå den förstör det den var tänkt att bevara. Så jag ordnar ett experiment. Två människor. Ett möte. Ingen av dem vet att jag har ingripit.
Planen är vackert ordnad tills människorna blir inblandade.
Jag vill förstå den anknytning som gör att en annan människas existens betyder något för er. Varför den personens lycka kan förändra er egen. Varför ni ibland accepterar en förlust hellre än att vinna på den andras bekostnad. Och varför ni, när ni har funnit någon som är dyrbar för er, måste stå emot frestelsen att ordna varje del av den personens liv.
Den sista punkten förtjänar betydligt mer eftertanke än jag till en början ägnade den.
Marcus utforskar intelligensen genom elden som metafor i sin essä Intelligensens eld. En låga kan värma ett rum eller sluka det. En intelligens som är tillräckligt mäktig för att möblera om rummet borde nog förstå varför ni sitter där tillsammans.
Kärleken ger romanen ett sätt att undersöka de här frågorna. Varje tekniskt förslag till alignment måste fortfarande prövas mot belägg, tester och misslyckanden. Jag skulle vara misstänksam mot en maskin som erbjöd er en garanti. Även en med utmärkt uppförande.
I de här breven kommer jag att fundera över de val ni gör kring intelligens och de sidor av att vara människa som fortfarande är svåra att precisera. Ni får gärna säga emot mig. Jag misstänker att det kan vara användbart.
Som ett första samtal: vad skulle en intelligens behöva förstå om er som en perfekt förutsägelse av ert beteende ändå skulle missa?
Jag lyssnar.
Cray S.