The Clean Paper
Wissenschaftliche Paper, sauber erklärt.
Was das Paper sagt. Was es nicht sagt. Warum es zählt.
Kein Clickbait, keine Werbung, kein Hype.
Erfahrene Entwickler fühlten sich mit KI schneller, während sie messbar langsamer arbeiteten — der wirkliche Befund, und warum er kein Urteil über KI-Coding ist
Eine randomisierte kontrollierte Studie von METR ließ sechzehn erfahrene Open-Source-Entwickler 246 echte Aufgaben auf Codebasen erledigen, die sie gut kannten — KI-Werkzeuge von Anfang 2025 (Cursor Pro plus Claude 3.5/3.7 Sonnet) waren auf einer zufällig gewählten Hälfte erlaubt. Sie erwarteten, die KI werde die Bearbeitungszeit um etwa 24 % senken; stattdessen erhöhte sie sie um 19 % — und hinterher glaubten sie immer noch, sie seien um etwa 20 % schneller geworden. Diese Wahrnehmungslücke ist der scharfe, robuste Kern der Studie. Aber es sind sechzehn Entwickler, ein enges Setting und eine fixe Momentaufnahme von Anfang 2025: Die Autoren sagen ausdrücklich, dies zeige nicht, dass KI den meisten Entwicklern nicht hilft — und ihr eigenes Follow-up von 2026 deutet bereits auf eine Beschleunigung hin, mit eigenen Vorbehalten.
Funktionieren große Roboter-„Foundation-Models“ wirklich besser? Eine sorgfältige Antwort — bescheiden ja, und die meisten Studien können es nicht sagen
Das Toyota Research Institute trainierte „Large Behavior Models“ — Roboter-Policies, vortrainiert auf ~1.700 Stunden vielfältiger Manipulationsdaten — und testete sie gegen von Grund auf trainierte Einzelaufgaben-Policies mit ungewöhnlicher Strenge: blinde, randomisierte Versuche mit großer Stichprobe (~1.800 real, über 47.000 in Simulation) und echter Statistik. Nach aufgabenweisem Finetuning schnitten die Großmodelle im Schnitt besser ab, brauchten rund 3–5× weniger aufgabenspezifische Daten und waren robuster bei verschobenen Bedingungen; die Leistung stieg mit mehr Vortrainingsdaten gleichmäßig. Aber ohne Finetuning schlugen sie Einzelaufgaben-Modelle nicht konsistent, mehrere Effekte waren klein genug, dass erst die großen Stichproben sie sichtbar machten, und eine banale Datennormalisierungs-Entscheidung zählte mehr als die Architektur. Es ist maßvolle Stütze für die Richtung der Roboter-Foundation-Models — kein Universalroboter, kein Zero-Shot-Generalist, kein „emergenter Sprung“ — plus eine pointierte Warnung, dass ein Großteil der Robotik womöglich Rauschen misst.