Texten Anthropic publicerade i veckan, om behoven av en paus i AI-utvecklingen, blev också en anledning att plocka fram den företaget publicerade för några veckor sedan men som jag inte hunnit läsa. Den handlar om den pågående AI-kapplöpningen mellan USA och Kina. Efter att ha tagit mig igenom båda sitter jag som så ofta med ett gäng frågor. Listar fyra, tillsammans med ett svar (som förvisso har en viktig reservation) på den sista, här.
Ett nytt krav på paus i AI-utvecklingen fick i veckan stor uppmärksamhet, både i media och i diskussioner online. Den här gången är det Anthropic som uttrycker oro för vart AI-utvecklingen är på väg och vad som kommer att hända när AI utvecklar sig själv.
Vad som fått mindre uppmärksamhet, åtminstone i mitt hörn av internet, är en annan lång text som företaget publicerade för bara några veckor sedan. I den målas två scenarier för 2028 upp.
Så efter att ha läst den som snurrat runt i veckan plockade jag också upp den andra som jag ännu inte hade hunnit med.
Den första texten är, om jag tolkar både url och formuleringar rätt, skriven av personer som jobbar på Anthropic Institute, vars roll beskrivs så här på webbplatsen:
The Anthropic Institute exists to understand and shape the consequences of powerful AI systems. The Institute focuses on four major research areas that will determine whether these systems deliver radical upsides in science, security, economic development, and human agency—or whether they will pose a range of unprecedented risks.
Den andra texten, återigen tolkning utifrån url och formuleringar, bygger på arbete som görs av företagets forsknings-team:
Our research teams investigate the safety, inner workings, and societal impacts of AI models – so that artificial intelligence has a positive impact as it becomes increasingly capable.
De båda texterna tar sin utgångspunkt på ungefär samma ställe, i en utveckling som just nu går rasande snabbt, och där vi snart kan ha AI-modeller som förbättrar sig själva utan mänsklig inblandning. Och frågan som ställs är då: Vad ska vi göra åt det?
Slutsatserna som de drar är dock inte helt enkla att förena, vilket de också konstaterar. Paus-texten länkar till scenario-texten: “if a slowdown simply lets the least cautious actors catch up technologically, it could leave everyone less safe.”
Paus-texten uttrycker primärt oro för den snabba utvecklingen i sig, scenario-texten för konsekvenserna som följer beroende på hur kapplöpningen om tekniken utspelar sig. Den ena oroar sig för att människor tappar kontrollen över AI-utvecklingen, den andra för att “fel” personer blir drivande.
Efter att ha läst de båda texterna sitter jag här med ett gäng frågor. Nöjer mig med att formulera fyra av dem här, för att texten inte ska bli för lång. De övriga kommer jag säkert återkomma till på ett eller annat sätt.
Vilka är “vi”? #
Båda texterna har ett “vi”. I texten som utgår från research-teamet är det tydligt att vi:et är Anthropic. I institutets text är det däremot ofta inte självklart vem subjektet egentligen är. Och framför allt är det otydligt i några delar där jag tycker att det verkligen spelar roll.
Som i inledningen:
If systems are capable of fully building their own successors, the ways we secure them, monitor them, and shape their behavior all grow much more important.
Eller när de tre scenarierna presenteras:
What happens next depends on two things: whether the trend continues, and what we choose to do if it does. We can imagine at least three future scenarios. (“Vi” nummer två uppenbart Anthropic, men mer otydligt för det första?)
Över lag tycker jag att vilka som är “vi” är extra otydligt i scenarierna – och det är kanske där det hade varit allra viktigast att vara mer explicit. Men under rubriken ”What should we do?” blir det istället ännu mer diffust. Nu är det inte längre “vi”, utan ”världen”:
We believe it would be good for the world to have the option to slow or temporarily pause frontier AI development to enable societal structures and alignment research to keep up with the advance of the technology.
När Anthropic målar upp den här typen av framtidsvisioner utifrån företagets förståelse från den tekniska frontlinjen så tycker jag att det också hade varit ansvarsfullt att vara tydlig med vem det är företaget tycker ska agera, och hur.
Vad har frontier-labben att vinna? #
Den här frågan kopplar tydligt till en del av det jag skrivit om på sistone: Å ena sidan en utveckling där framför allt OpenAI och Anthropic under våren steg för steg har begränsat vad man kan göra med ett månadsabonnemang, token-limits, höjt token-priserna och på andra sätt snävat in vad som verkar varit kraftigt subventionerade tjänster, å andra sidan en snabb utveckling inom hårdvara, öppna modeller, och mjukvaran som krävs för lokal inferens. Självklart känner både OpenAI och Anthropic att lösningar baserade på öppna modeller flåsar dem i nacken, oavsett om det är helt lokal inferens eller genom de affärsmodeller som bygger på drift av öppna modeller. Tuffare regler och kontroller runt AI-modellerna skulle gynna de största företagen som har kompetens och ekonomiska möjligheter att hantera dem, ett resonemang som också hörts kring bland annat GDPR.
Den cyniska läsningen av Anthropics texter som jag sett att många landar i är att det hela handlar om marknadsföring (“kolla, våra AI är jättekraftfull!”) inför kommande börsnotering. Arbetet tog ett kliv framåt i veckan när en så kallad S-1 lämnades in till U.S. Securities and Exchange Commission.
Är vi på väg mot ”human-as-the-scapegoat”? #
Textens första mening tangerar en frågeställning som dykt upp i några olika samtal jag haft under de senaste veckorna men också grunnat på under lång tid:
For most of AI’s history, humans drove every step in its development cycle. But at Anthropic, we are delegating a growing share of AI development to AI systems themselves, which is speeding up our work.
Human-in-the-loop påstås ju ofta vara lösningen på ansvarsfrågan. ”AI ska inte fatta beslut, den ska bara föreslå. Sen är det människan som bestämmer.” Men i takt med att tekniken gör så kvalificerade saker som Anthropic beskriver, vad kommer human-in-the-loop innebära i praktiken?
There isn’t full consensus among staff at Anthropic, but many believe that the Claude-written code was still worse in quality than human-written code at Anthropic in late 2025, and is roughly at parity today. We expect it to be better within the year.
Redan 2016 myntade Madeleine Clare Elish, på Data & Society, begreppet “moral crumple zones” i ett working paper, senare utvecklat i en artikel 2019:
Just as the crumple zone in a car is designed to absorb the force of impact in a crash, the human in a highly complex and automated system may become simply a component—accidentally or intentionally—that bears the brunt of the moral and legal responsibilities when the overall system malfunctions.
Överför det här till exempelvis granskning av röntgenbilder i vården. Om en AI-modell i genomsnitt gör bättre ifrån sig än en människa, var ska då människan stoppas in i loopen? Och vilken roll ska hen spela? Vilka av er skulle vilja dubbelkolla ”förslag” från ett AI-system som ni vet oftare har rätt än vad ni själva har? Hur organiserar vi beslutsfattandet om såväl införande som daglig drift av så kraftfulla verksamhetssystem?
Vem ska formulera svaren? #
Den kanske viktigaste frågan, och den enda där jag känner mig trygg med att formulera ett eget svar. Vi är mitt i en väldigt omvälvande tid, om det råder det ingen tvekan. Den artificiella intelligensen skär genom alla samhällssektorer. Och därmed blir frågorna om tekniken och dess konsekvenser i slutänden politiska. Både när det gäller att sätta ramarna för hur den ska utvecklas och att hitta de bästa sätten att låta den förändra samhället. Det otydliga subjektet som finns i Anthropics texter är åtminstone till stor del våra folkvalda politiker genom internationella institutioner – med input från alla discipliner som har något att tillföra i förståelsen om vart vi är på väg. Samtidigt är vi då också tillbaka i en slitning som diskuterats många gånger: Den mellan snabb teknikutveckling och långsam demokrati.
Det här är komplext, minst sagt. Därför känns det meningsfullt att sitta ner med representanter för våra riksdagspartier och spela in samtal till AI Sweden Podcast om deras tankar om politik i relation till artificiell intelligens. Avsnitten med Centerpartiets Elisabeth Thand Ringqvist, Moderaternas Jessica Rosencrantz och Miljöpartiets Daniel Helldén är publicerade. Fler är på gång inom kort.