AI Update · helder nieuws over modellen, tools en agents

Onderzoekers verdeeld over mogelijke doorbraak in AI-uitlegbaarheid

Nieuws

Illustratie van AI Update over Qwen: Onderzoekers verdeeld over mogelijke doorbraak in AI-uitlegbaarheid
Illustratie: AI Update (geen beeld van het nieuwsfeit zelf).

Volgens The Decoder stelt Goodfire-onderzoeker Nick Cammarata dat neurale netwerken veel minder ondoorzichtig zijn dan vaak wordt aangenomen. In een essay herinterpreteert hij bekende voorbeelden van zogenoemde polysemanticiteit: neuronen die meerdere, op het eerste gezicht ongerelateerde concepten herkennen. Volgens hem gaat het in die gevallen vaak om gedeelde patronen en algemene kenmerken, die met betere analysetools zichtbaar worden.

Cammarata noemt voorlopige resultaten voor Qwen3-32B, waarin ongeveer 90 procent van de neuronpolen één hoofdtaak zou hebben en 2 tot 4 procent onverklaard blijft. Goodfire zegt vergelijkbare resultaten te zien in modellen tot biljoenen parameters. Google DeepMind-onderzoeker Neel Nanda noemt de aanpak bruikbaar voor praktische analyses, maar betwijfelt dat uitlegbaarheid bijna is opgelost. Hij houdt vast aan de superpositietheorie en wijst erop dat het technische begeleidende artikel nog niet is gepubliceerd. OpenAI-medewerker Roon reageerde juist zeer enthousiast. Deze prestatiecijfers zijn niet onafhankelijk geverifieerd.