The Clean Paper
Wetenschappelijke papers, helder uitgelegd.
Wat de paper zegt. Wat hij niet zegt. Waarom het ertoe doet.
Geen clickbait, geen advertenties, geen hype.
Ervaren ontwikkelaars voelden zich sneller met AI terwijl ze meetbaar langzamer werkten — de echte bevinding, en het oordeel over AI-coding dat het niet is
Een gerandomiseerde gecontroleerde studie van METR liet zestien ervaren open-source-ontwikkelaars 246 echte taken uitvoeren op codebases die ze goed kenden, met AI-gereedschap van begin 2025 (Cursor Pro plus Claude 3.5/3.7 Sonnet) toegestaan op een willekeurig gekozen helft. Ze verwachtten dat AI hun taaktijd met ongeveer 24% zou verkorten; in plaats daarvan nam die met 19% toe — en achteraf geloofden ze nog steeds dat ze zo'n 20% sneller waren geweest. Die perceptiekloof is de scherpe, robuuste kern van de studie. Maar het zijn zestien ontwikkelaars, één smalle setting en een vaste momentopname van begin 2025: de auteurs zijn er expliciet over dat dit niet aantoont dat AI de meeste ontwikkelaars niet helpt, en hun eigen follow-up van 2026 wijst al in de richting van een versnelling, met eigen voorbehouden.
Werken grote robot-"foundation modellen" echt beter? Een zorgvuldig antwoord — bescheiden ja, en de meeste studies kunnen het niet zeggen
Het Toyota Research Institute trainde "large behavior models" — robotpolicies voorgetraind op ~1.700 uur diverse manipulatiedata — en testte ze tegen vanaf-nul getrainde eentaakpolicies met ongewone striktheid: blinde, gerandomiseerde proeven met grote steekproef (~1.800 echt, meer dan 47.000 in simulatie) met echte statistiek. Na finetuning per taak deden de grote modellen het gemiddeld beter, hadden ruwweg 3–5× minder taakspecifieke data nodig en waren robuuster bij verschoven omstandigheden; de prestatie steeg gelijkmatig met meer voortrainingsdata. Maar zonder finetuning versloegen ze eentaakmodellen niet consistent, meerdere effecten waren klein genoeg dat alleen de grote steekproeven ze onthulden, en een alledaagse datanormalisatie-keuze telde meer dan de architectuur. Het is gematigde steun voor de richting van de robot-foundation-modellen — geen universele robot, geen zero-shot-generalist, geen "emergente sprong" — plus een puntige waarschuwing dat een groot deel van de robotica mogelijk ruis meet.