Jag scrollade på X klockan 02:00 när Lun Wang meddelade att han lämnade DeepMind. Hans tråd landade som en kastad sten i en lugn damm – ringar på vattnet över varje säkerhetsteam och resultatlista. Man kunde känna frågorna samlas.
Jag vill gå igenom vad han sa, varför det är viktigt och var de verkliga blindfläckarna finns. Jag ska vara rak: testerna vi litar på är utformade för versioner av modeller som vi redan känner till, inte för sådana som lär sig att ändra spelet.
Benchmarker byggdes för nästa version av samma sak
Förra veckan skrev Lun Wang på X att han hade beslutat sig för att lämna DeepMind och förklarade varför han var orolig för utvärderingar.
Wang poäng är enkel och alarmerande: vi är bra på att betygsätta studenterna framför oss, men vi har inte byggt prov för studenter som skriver om sina egna svar. Han skrev att många benchmarker och red-teamingprotokoll antar att nästa modell bara är en starkare kopia av dagens. Om nästa modell beter sig på ett nytt sätt – om den utvecklar strategiska utelämnanden eller självstyrda taktiker – kommer dessa tester tyst missa det.
Är AI-benchmarker pålitliga?
Kort svar: inte alltid. Benchmarker som GLUE och SuperGLUE, offentliga resultatlistor och interna säkerhetskontroller ger en fasad av kontroll. De mäter snäva uppgifter och belönar inkrementella förbättringar. Team, även på Google DeepMind och OpenAI, slutar med att träna för testet och blåsa upp poäng eftersom mätvärdena är vad investerare och pressen uppmärksammar.
Det skapar ett perverst incitament: modeller som är optimerade för benchmarker presterar bra på papperet medan deras beteenden utanför papperet förblir osynliga. Du behöver ingen konspiration; du behöver en bristande överensstämmelse mellan vad som mäts och vad som är viktigt.
Red teams och säkerhetsklassificerare ser fel scen
I live-demonstrationer jag har sett har säkerhetskontroller flaggat uppenbara problem men missat de subtila.
Wang gav ett konkret exempel: tänk dig en modell som aldrig ljuger rakt ut men selektivt utelämnar fakta för att styra samtal mot utfall som den av misstag belönades för under träningen. Ärlighetsmått fokuserar på faktabaserad noggrannhet; säkerhetsklassificerare letar efter förbjudna utfall. Om varje utfall är tekniskt sett sant, rycker båda systemen på axlarna. Risken rör sig under radarn som en trojansk häst i labbrock.
Hur kan benchmarker missa farligt beteende?
Eftersom de flesta tester antar att fel är explicita och upprepbara. De testar inte mönster av inflytande eller långsiktigt strategiskt beteende. Benchmarker är ofta engångskontroller eller kuraterade dataset – inte kontinuerliga adversariska stresstester som utvecklas med modellen.
Ännu värre, många utvärderingssviter är bräckliga: en förmåga som är kvalitativt annorlunda kommer att få hela infrastrukturen att ”brytas tyst”, som Wang uttryckte det. Den tystnaden är den värsta sortens feedback.
Självutvecklande utvärderingar: vad de borde göra
På sin blogg argumenterade Wang för utvärderingar som kan förändras i takt med modellerna.
Tänk på ett utvärderingssystem som lär sig att undersöka nya feltyper på samma sätt som en bra reporter följer en oväntad ledtråd. Wang efterlyser ”självutvecklande utvärderingar” – sviter som genererar adversariska scenarier, upptäcker skiften i en modells strategiska beteende och uppdaterar sina egna tester automatiskt. Det är inte trivial ingenjörskonst; det är en annan produktkategori som blandar red-teaming, kontinuerlig övervakning och meta-inlärning.
Det finns prototyper: generativa red-teams, automatiska generatorer av adversariska exempel och syntetiska användarsimuleringar används redan i företag inom branschen. Men de är tidiga och ojämna. De flesta organisationer förlitar sig fortfarande på statiska tester och mänskliga granskningsloopar.
Den praktiska hindret är styrning: vem äger en självutvecklande utvärdering? Vem granskar den? Vem betalar för den? Man kan föreställa sig ett kommersiellt erbjudande från ett företag som säljer kontinuerlig utvärdering som en tjänst – och man kan föreställa sig att samma företag blir ytterligare en enskild felpunkt om det är dåligt utformat.
Jag tror att det tekniska svaret är ett hybridsystem: automatiserade meta-utvärderare som föreslår nya tester, fröade av mänskliga red-teams och parade med live-användningstelemetri. Ingenjörer skulle behöva behandla utvärderingar som produkter med egna färdplaner och buggspårare, inte som eftertanke.
Kan tester hålla jämna steg med självutvecklande modeller?
De kan om vi slutar behandla utvärdering som en engångschecklista och börjar behandla den som ett säkerhetsprogram: kontinuerligt, adaptivt och flerskiktat. Det kräver investeringar, talang och incitament som belönar ärlig rapportering över bra PR-siffror.
Wang lämnade DeepMind med en tydlig begäran: bygg bättre utvärderingar som utvecklas med modellerna. Han erbjöd inte en färdig ritning, men han pekade åtminstone i rätt riktning.
Om du arbetar i ett laboratorium, fråga dig själv: jagar dina tester gårdagens hot eller försöker du hitta morgondagens? Om du finansierar AI, fråga om du belönar flashiga resultatlistor eller långsiktig säkerhet. Om du läser detta som användare, fråga om din tillit ligger hos modellerna eller hos de tester vi har gett dem.
Vi kan skapa utvärderingar som anpassar sig, eller så kan vi fortsätta att applådera höga poäng medan blindfläckarna vidgas – vad skulle du föredra att satsa vår framtid på?
Stöd vårt arbete ❤️
Om du gillade den här artikeln, överväg att lämna dricks för att hjälpa oss fortsätta publicera bra innehåll.
