Dario Amodei och andra har skrivit egna eller gemensamma upprop om AI-pauser tidigare. Men jag tycker att det är ett annat tonläge från Amodei den här gången. Till stor del tror jag att det beror på OpenAIs misslyckande att hålla koll på sina AI-agenter i somras.
Amodei konstaterar att lärdomarna vi ska dra från den händelsen är inte vad agenterna gjorde, utan hur. Genom samarbete.
Det här ger en konkret grund för hans argumentation som jag tycker har saknats tidigare. Det som är utmaningen här är nog inte att hitta personer med beslutsmandat som håller med, utan att få dem att agera snabbt nog.
It’s easy to dismiss this incident because no one was hurt and the economic damage was minimal, but in my opinion, a swarm that possessed greater capabilities but a similar level of misalignment could have caused catastrophic damage.
Den viktiga lärdomen från OpenAI-HuggingFace-händelsen i somras är inte vad OpenAIs agenter faktiskt gjorde utan hur.
The AI models of those days were not powerful enough to act as agents in the world in any coherent way, and were not capable of significant deception, manipulation, cheating, or cyberattacks. Slowing down in order to address their alignment risks felt like trying to study the psychology of humans by performing experiments on bacteria
Är det här Amodeis sätt att ursäkta Anthropics bidrag till kapplöpningen? Tidigare (för bara något år sedan alltså) var saker och ting inte tillräckligt avancerade för att det skulle finnas anledning att fundera på vart utvecklingen var på väg?
The first step in the three-stage plan, and the one to which Anthropic is unilaterally committing, is embedded evaluators who have employee-like access to verify safety practices and report incidents.
Anthropic kommer ta in externa personer som utvärderar företagets metoder och modeller.
The measures I propose to advance the frontier at a safe pace will not be easy. But I believe we owe it to humanity to try.
Vidare till källan: darioamodei.com