Funcționează într-adevăr mai bine marile „foundation models” pentru roboți? Un răspuns atent — modest, da, iar multe studii nici nu pot spune asta

Un paper despre roboți al cărui subiect real este onestitatea

Robotica este în mijlocul goanei după „foundation models”. Ideea, împrumutată din AI-ul pentru limbaj și imagini, este seducătoare: în loc să antrenezi un robot pentru câte o sarcină, antrenezi un „large behavior model” (LBM) mare pe o grămadă enormă și diversă de demonstrații și obții un sistem larg capabil și rapid de adaptat. Entuziasmul — și investiția — sunt enorme. Titlul se scrie singur: creierele robotice general-purpose au sosit.

Acest paper, de la Toyota Research Institute, este interesant tocmai pentru că refuză să scrie acel titlu. Contribuția lui reală nu este un robot mai spectaculos. Este o privire dură asupra unei întrebări aparent simple — funcționează abordarea cu model mare într-adevăr mai bine și cum am putea ști? — răspunsă cu un nivel de grijă statistică neobișnuit, după cum spun chiar autorii, pentru domeniu. Rezultatul este un „da, dar” cu adevărat util și un avertisment că multă robotică ar putea măsura zgomot.

Ce au făcut autorii

Au construit LBM-uri într-un sens specific și concret: politici visuomotorii bazate pe difuzie (un Diffusion Transformer care citește imagini de cameră, o instrucțiune scurtă în limbaj și pozițiile articulațiilor robotului, apoi produce scurte rafale de comenzi motorii la 10 Hz). Acestea au fost preantrenate pe aproximativ 1.700 de ore de demonstrații robotice — peste 500 de sarcini distincte colectate intern, plus seturi de date publice — și apoi finetuned pe sarcini individuale. Comparația, de-a lungul lucrării, este cu o politică single-task antrenată de la zero pe datele acelei sarcini.

Inima paperului, însă, este evaluarea, pe care autorii o tratează ca rezultat principal. Pentru a nu se păcăli singuri, au folosit:

• Teste A/B oarbe și randomizate în lumea reală — omul care opera robotul nu știa ce politică era testată, iar ordinea era randomizată.
• Condiții inițiale controlate și repetabile — operatorii potriveau scena cu o suprapunere de imagine înainte de fiecare probă.
• Număr mare de probe — 50 de rollout-uri reale pe sarcină, pe politică, pe condiție; 200 pe sarcină în simulare. În total: aproximativ 1.800 de rollout-uri reale oarbe și peste 47.000 de rollout-uri în simulare.
• Statistici adecvate — estimări bayesiene ale probabilității de succes și teste de ipoteză perechi cu corecții pentru comparații multiple, în loc de citirea din ochi a unor bare de eroare suprapuse. Au făcut chiar și un control de calitate pe un sfert dintre probele evaluate de oameni pentru a măsura eroarea de scoring.

Acest mecanism este punctul central. Întregul paper susține că, fără el, nu poți deosebi o îmbunătățire reală de noroc.

Ce au găsit

Modelele mari finetuned bat modelele single-task antrenate de la zero — în medie. Agregat peste sarcini, un LBM preantrenat și apoi finetuned pe o sarcină a depășit fiabil o politică antrenată de la zero pe datele aceleiași sarcini, atât în simulare, cât și în lumea reală, iar separarea a fost statistic semnificativă. Pe sarcini individuale, LBM-ul finetuned a fost statistic la fel de bun sau mai bun aproape de fiecare dată (3/3 sarcini reale, 15/16 în simulare).

Cel mai mare și mai clar câștig este eficiența datelor. Un LBM finetuned a ajuns la performanțe echivalente cu modelul de la zero folosind aproximativ 3–5× mai puține date specifice sarcinii. Într-o sarcină reală (aranjarea unei mese de mic dejun), un LBM finetuned pe doar 15% din demonstrații a depășit o politică de la zero antrenată pe 100% dintre ele.

Preantrenarea ajută cel mai mult când condițiile se schimbă. Când mediul de test era perturbat deliberat față de condițiile de training („distribution shift”), avantajul LBM-ului finetuned creștea. Într-un set de simulare, acesta a depășit statistic modelul de la zero în 3 din 16 sarcini în condiții normale, dar în 10 din 16 sub distribution shift. Pentru că implementările reale deviază mereu de la condițiile de training, această robustețe este probabil cel mai important rezultat practic.

Mai multe date de preantrenare au ajutat, treptat. Performanța a crescut constant pe măsură ce au adăugat date de preantrenare — fără un salt brusc sau „emergent” la scările testate. Util, previzibil, nedramatic.

Dar povestea generalistului fără finetuning nu a rezistat. Un LBM preantrenat folosit zero-shot — fără finetuning specific sarcinii — nu a depășit consecvent politicile single-task. O singură rețea putea face multe sarcini simultan, dar visul „doar îi spui ce să facă” nu a fost confirmat aici; autorii atribuie o parte din asta fragilității encoderului lor lingvistic mic.

Iar câștigurile erau suficient de mici încât să fie ușor de ratat — sau de mimat. Multe efecte au devenit vizibile doar cu eșantioane mai mari decât de obicei și teste atente. Autorii spun clar că, date fiind mărimea efectelor și zgomotul, există un risc semnificativ ca multe paper-uri de robotică să măsoare zgomot statistic. Au mai găsit că o alegere banală — cum sunt normalizate datele — a afectat rezultatele mai mult decât schimbările arhitecturale, iar un bug de normalizare în preantrenare a ieșit la iveală abia după finalizarea evaluărilor.

Ce înseamnă probabil

Interpretarea defensabilă: preantrenarea la scară largă pe date robotice diverse este un ingredient real și util — cere mai puține date pentru fiecare sarcină nouă și face politicile mai solide când lumea nu se potrivește cu trainingul. Asta susține cu adevărat direcția pe care pariază domeniul. Dar câștigurile sunt moderate și condiționale (apar mai ales după finetuning și sunt cele mai clare agregat și sub stres), nu sosirea unui robot general-purpose gata de folosit.

Sensul mai tăcut și mai important este metodologic. Paperul este, de fapt, o riglă de măsurare: arată câtă dovadă este necesară pentru a face o afirmație de încredere despre o politică robotică și sugerează că mult entuziasm publicat se sprijină pe prea puțin. Este un corectiv de care domeniul are nevoie mai mult decât de încă un model în vârful unui leaderboard.

Ce nu demonstrează

• Nu este un robot general-purpose. Câștigurile sunt demonstrate pentru o arhitectură specifică (politici de difuzie) finetuned pe fiecare sarcină, în condiții controlate, din demonstrații teleoperate — nu pentru un robot autonom care face orice sarcină nouă la comandă.
• Nu validează folosirea zero-shot. Fără finetuning, modelul mare nu a depășit consecvent baseline-urile single-task.
• Nu este dovadă pentru un „salt emergent”. Scalarea a îmbunătățit lucrurile treptat; nu există aici o discontinuitate care să susțină narațiuni de tipul „și apoi, brusc, a devenit capabil”.
• Numerele sunt relative și de laborator. Ratele absolute de succes au fost reglate deliberat spre ~50% pentru sensibilitatea comparațiilor; nu sunt o măsură a fiabilității în lumea reală, iar lucrarea este despre o arhitectură dintr-un singur laborator.
• Nu stabilește de ce reușește sau eșuează o politică, iar câteva sarcini specifice în care modelul mare a mers mai prost sunt raportate, dar nu explicate.
• Nu spune nimic despre siguranță, autonomie sau deployment în afara rigului de evaluare.

Cât de puternică este dovada?

Pentru afirmațiile comparative centrale — LBM-urile finetuned bat baseline-urile de la zero în agregat, cer de câteva ori mai puține date și sunt mai robuste sub distribution shift — dovada este puternică și neobișnuit de bine controlată: teste oarbe, randomizate, cu eșantioane mari, testate statistic, plus un control de calitate pe scoring. Este cazul rar în care metodologia este suficient de solidă pentru a lua concluziile principale aproape la valoarea lor nominală.

Caveat-urile oneste sunt cele ridicate chiar de autori. Barele lor de eroare surprind aleatoriul evaluării, dar nu aleatoriul trainingului — antrenarea aceluiași model de două ori ar putea produce politici semnificativ diferite, iar această variație nu este în statistici. Sarcinile reale au avut câte 50 de probe, suficient pentru efecte medii, dar posibil să rateze efecte mici. Conditioning-ul lingvistic a folosit un encoder modest, deci afirmațiile despre „spune-i robotului ce să facă” ar putea arăta diferit pentru sisteme mai mari. Și există dezvăluirea directă a unui bug de normalizare găsit post hoc. Niciuna dintre acestea nu scufundă rezultatele principale, dar sunt exact genul de lucruri despre care paperul spune că domeniul le trece adesea sub tăcere.

O notă de sursă, în același spirit: acest explainer se bazează pe preprintul autorilor. Nu am reușit să recuperăm versiunea publicată în jurnal, așa că nu am verificat eventualele schimbări dintre preprint și textul publicat.

De ce contează

„Robot foundation models” este o formulă făcută pentru exagerare, iar un studiu ca acesta poate fi citit greșit în ambele direcții — ca un triumfător „funcționează!” sau ca un disprețuitor „e doar hype”. Interpretarea exactă este mai utilă decât ambele: preantrenarea pe date diverse produce beneficii reale, măsurabile, dar moderate — în principal mai puține date pe sarcină și mai multă robustețe — iar direcția se îmbunătățește previzibil cu scara.

Motivul mai profund pentru care contează este că paperul își întoarce rigoarea asupra propriului domeniu. Arătând că efectele reale sunt suficient de mici încât să dispară în evaluări slabe și că o alegere plictisitoare precum normalizarea datelor poate cântări mai mult decât o arhitectură nouă ingenioasă, construiește cazul că mult progres în robot learning are nevoie de măsurare mai solidă înainte să poată fi crezut. Un paper care își cheltuie credibilitatea păzind diferența dintre un rezultat și o dorință face ceva mai rar, și mai valoros, decât să urce într-un clasament.

Rezumat curat

Cercetătorii de la Toyota Research Institute au antrenat „large behavior models” — politici robotice bazate pe difuzie, preantrenate pe ~1.700 de ore de date diverse de manipulare — și le-au testat împotriva politicilor single-task antrenate de la zero folosind un protocol neobișnuit de riguros: orb, randomizat, cu eșantioane mari (≈1.800 reale și peste 47.000 în simulare), cu statistici reale. După finetuning pe sarcină, modelele mari au performat mai bine în agregat, au ajuns la performanță echivalentă cu aproximativ 3–5× mai puține date specifice sarcinii și au fost mai robuste când condițiile s-au schimbat, performanța crescând treptat cu datele de preantrenare. Dar folosite fără finetuning, nu au depășit consecvent modelele single-task, mai multe efecte au fost suficient de mici încât doar eșantioanele mari le-au făcut vizibile, iar o alegere banală de normalizare a datelor a contat mai mult decât arhitectura. Este sprijin solid și măsurat pentru direcția robot foundation models — nu un robot general-purpose, nu un generalist zero-shot și nu un „salt emergent” — plus un avertisment clar că multă robotică ar putea măsura zgomot.