Väldigt intressant kritik mot Anthropics "konstitution" för Claude och hur den dels leder till cirkelresonemang kring modellens eventuella "medvetande", men också hur formuleringar om egen vilja, rättigheter etc för modellen riskerar att skapa de problem många nu oroar sig för.
Trained on trillions of tokens of human data, LLMs learn to imitate human experience, and they do so eye-wateringly well. Today’s text, vision, audio, and code outputs are nearly indistinguishable from our human artifacts. And yet, as impressive as those AI responses are, they tell us nothing about the presence of an ‘experience’ within the massive matrix multiplication that produced them.
Språkmodeller är matematiska system som med imponerande precision kan räkna fram nästa steg i komplexa dataströmmar. Det är otroligt användbart, men är absolut inte ett bevis för vare sig känslor, medvetande, ambition eller andra mänskliga egenskaper. Levande organismer kan känna men sakna förmåga att kommunicera känslor. Språkmodeller är bara kommunikation, utan något där bakom.
There is no neutral self-expression of what an AI system is. There are only reflections of how it has been trained and built.
Allt en språkmodell är grundar sig i träningsdatan. Och om Anthropic då ger modellen instruktioner att på olika sätt visa mänskliga drag är det inte överraskande att det blir slutresultatet.
The result is that Anthropic’s employees – not to mention the millions of users of Anthropic’s products – risk experiencing Claude’s statements as testimony of a mind discovering itself. In practice, all this amounts to a rich, multi-dimensional anthropomorphization of Claude. It’s taking a base LLM, and then polishing it into a deeply human form, with all the implications of moral patienthood that implies. Rather than steering us away from creating a moral patient, it accelerates us towards it.
Vidare till källan: mustafa-suleyman.ai