Os grandes «foundation models» para robôs funcionam realmente melhor? Uma resposta cuidadosa — modestamente sim, e muitos estudos não conseguem sequer medir a diferença

Um artigo de robótica cujo verdadeiro tema é a honestidade

A robótica está no meio de uma corrida aos «foundation models». A ideia, importada da IA de linguagem e imagem, é sedutora: em vez de treinar um robô para uma tarefa de cada vez, treinar um grande «large behavior model» (LBM) com uma enorme e diversa coleção de demonstrações e obter um sistema com capacidades amplas e rápido a adaptar-se. O entusiasmo — e o investimento — é enorme. A manchete escreve-se sozinha: os cérebros robóticos de uso geral chegaram.

Este artigo, do Toyota Research Institute, é interessante precisamente porque se recusa a escrever essa manchete. A sua verdadeira contribuição não é um robô mais vistoso. É um olhar duro para uma pergunta enganosamente simples — a abordagem de modelo grande funciona realmente melhor e como é que sequer saberíamos? — respondida com um nível de cuidado estatístico que, segundo os próprios autores, é invulgar na área. O resultado é um «sim, mas» genuinamente útil e um aviso de que muita robótica poderá estar a medir ruído.

O que fizeram os autores

Construíram LBMs num sentido específico e concreto: políticas visuomotoras baseadas em difusão (um Diffusion Transformer que recebe imagens de câmaras, uma instrução curta em linguagem e as próprias posições articulares do robô, e produz pequenos blocos de comandos motores a 10 Hz). Estes modelos foram pré-treinados com cerca de 1 700 horas de demonstrações robóticas — mais de 500 tarefas distintas recolhidas internamente, além de conjuntos de dados públicos — e depois afinados para tarefas individuais. A comparação, ao longo de todo o artigo, é feita com uma política de tarefa única treinada do zero apenas com os dados dessa tarefa.

Mas o coração do artigo é a avaliação, que os autores tratam como o principal resultado. Para evitarem enganar-se, usaram:

• Testes A/B cegos e aleatorizados no mundo real — a pessoa que operava o robô não sabia qual política estava a ser testada e a ordem era aleatória.
• Condições iniciais controladas e repetíveis — antes de cada ensaio, os operadores ajustavam a cena para coincidir com uma sobreposição de imagem.
• Muitos ensaios — 50 execuções no mundo real por tarefa, por política e por condição; 200 por tarefa em simulação. No total: cerca de 1 800 execuções cegas no mundo real e mais de 47 000 em simulação.
• Estatística apropriada — estimativas bayesianas da probabilidade de sucesso e testes de hipóteses par a par com correções para comparações múltiplas, em vez de olhar para barras de erro sobrepostas. Fizeram ainda um controlo de qualidade numa quarta parte dos ensaios avaliados por humanos para medir o erro de classificação.

Esta maquinaria é o ponto. Todo o artigo é um argumento de que, sem ela, não se consegue distinguir uma melhoria real de sorte.

O que encontraram

Os modelos grandes afinados superaram, em média, os modelos de tarefa única treinados do zero. Agregando as tarefas, um LBM pré-treinado e depois afinado para uma tarefa superou de forma fiável uma política treinada do zero nessa mesma tarefa, tanto em simulação como no mundo real, e a separação foi estatisticamente significativa. Nas tarefas individuais, o LBM afinado foi estatisticamente tão bom ou melhor do que o modelo treinado do zero em quase todos os casos (3/3 tarefas no mundo real, 15/16 em simulação).

O maior e mais claro ganho é a eficiência de dados. Um LBM afinado atingiu desempenho equivalente ao modelo treinado do zero usando cerca de 3–5 vezes menos dados específicos da tarefa. Numa tarefa do mundo real (pôr uma mesa de pequeno-almoço), um LBM afinado com apenas 15% das demonstrações superou uma política treinada do zero com 100% delas.

O pré-treino ajuda mais quando as condições mudam. Quando o ambiente de teste foi deliberadamente alterado em relação às condições de treino («distribution shift»), a vantagem do LBM afinado aumentou. Num conjunto de simulação, superou estatisticamente o modelo treinado do zero em 3 de 16 tarefas sob condições normais, mas em 10 de 16 sob distribution shift. Como as implementações reais se afastam inevitavelmente das condições de treino, esta robustez é talvez o resultado mais importante na prática.

Mais dados de pré-treino ajudaram, de forma suave. O desempenho subiu continuamente à medida que acrescentavam dados de pré-treino — sem qualquer salto súbito ou «emergente» nas escalas testadas. Útil, previsível e nada dramático.

Mas a narrativa do generalista sem afinação não se confirmou. Um LBM pré-treinado usado em zero-shot — sem afinação específica da tarefa — não superou de forma consistente as políticas de tarefa única. Uma única rede conseguia executar muitas tarefas, mas o sonho do «basta pedir» não apareceu aqui; os autores atribuem parte disso à fragilidade do seu pequeno codificador de linguagem.

E os ganhos eram suficientemente pequenos para serem fáceis de não ver — ou de fabricar. Muitos efeitos só se tornaram visíveis com amostras maiores do que o habitual e testes cuidadosos. Os autores afirmam diretamente que, dada a dimensão dos efeitos e o ruído, há um risco significativo de muitos artigos de robótica estarem a medir ruído estatístico. Também descobriram que uma escolha banal — a forma como os dados são normalizados — afetava os resultados mais do que mudanças de arquitetura, e que um erro de normalização no pré-treino só apareceu depois de terminadas as avaliações.

O que isto provavelmente significa

A leitura defensável: o pré-treino em grande escala com dados robóticos diversos é um ingrediente real e útil — permite precisar de menos dados por nova tarefa e torna as políticas mais resistentes quando o mundo não corresponde ao treino. Isso apoia genuinamente a direção em que a área está a apostar. Mas os ganhos são moderados e condicionais (aparecem sobretudo depois da afinação e são mais claros no agregado e sob perturbações), não a chegada de um robô geral pronto a usar.

O significado mais discreto e talvez mais importante é metodológico. O artigo funciona, na prática, como uma régua: mostra quanta evidência é realmente necessária para fazer uma afirmação fiável sobre uma política robótica e sugere que muito entusiasmo publicado assenta em demasiado poucos dados. É uma correção de que a área precisa mais do que de outro modelo.

O que isto não prova

• Não é um robô de uso geral. Os ganhos são demonstrados para uma arquitetura específica (políticas de difusão) afinada por tarefa, em ambientes controlados, a partir de demonstrações por teleoperação — não um robô autónomo que executa trabalhos arbitrários mediante pedido.
• Não valida utilização zero-shot. Sem afinação, o modelo grande não superou de forma consistente as linhas de base de tarefa única.
• Não é evidência de um «salto emergente». Escalar melhorou o desempenho de forma suave; não há aqui descontinuidade que sustente narrativas de «e de repente tornou-se capaz».
• Os números são relativos e confinados ao laboratório. As taxas de sucesso absolutas foram deliberadamente ajustadas para cerca de 50% para tornar as comparações sensíveis; não medem fiabilidade no mundo real, e o trabalho corresponde a uma arquitetura de um único laboratório.
• Não resolve por que razão uma determinada política tem sucesso ou falha, e várias tarefas específicas em que o modelo grande foi pior são relatadas sem explicação.
• Não diz nada sobre segurança, autonomia ou implementação fora da plataforma de avaliação.

Quão forte é a evidência?

Para as afirmações comparativas centrais — LBMs afinados superam as linhas de base treinadas do zero no agregado, precisam de várias vezes menos dados e são mais robustos sob distribution shift — a evidência é forte e invulgarmente bem controlada: cega, aleatorizada, com grandes amostras, testada estatisticamente e com controlo de qualidade na avaliação. É um daqueles casos raros em que a metodologia é suficientemente sólida para aceitar as conclusões principais quase pelo seu valor nominal.

As reservas honestas são as que os próprios autores levantam. As barras de erro captam a aleatoriedade da avaliação, mas não a aleatoriedade do treino — treinar o mesmo modelo duas vezes pode produzir políticas significativamente diferentes e essa variação não entra nas estatísticas. As tarefas no mundo real tiveram 50 ensaios cada, suficientes para detetar efeitos médios, mas capazes de falhar efeitos pequenos. O condicionamento por linguagem usou um codificador modesto, pelo que as conclusões sobre «dizer ao robô o que fazer» poderão ser diferentes em sistemas maiores. E há a divulgação franca de um erro de normalização descoberto a posteriori. Nada disto destrói os resultados principais, mas são precisamente o tipo de coisas que o artigo argumenta que a área costuma ignorar.

Uma nota sobre as fontes, no mesmo espírito: este explicador baseia-se no preprint dos autores. Não conseguimos obter a versão publicada na revista, por isso não verificámos se houve alterações entre o preprint e o texto publicado.

Porque é importante

«Robot foundation models» é uma expressão feita para exageros, e um estudo destes é fácil de interpretar mal em qualquer direção — como um triunfante «funciona!» ou um desdenhoso «é tudo hype». A leitura correta é mais útil do que ambas: o pré-treino em dados diversos proporciona benefícios reais, mensuráveis, mas moderados — sobretudo menos dados por tarefa e mais robustez — e o caminho melhora de forma previsível com a escala.

A razão mais profunda para o artigo importar é que aplica o seu rigor à própria área. Ao mostrar que os efeitos genuínos são suficientemente pequenos para desaparecerem numa avaliação descuidada e que uma escolha aborrecida como a normalização dos dados pode pesar mais do que uma nova arquitetura engenhosa, apresenta um argumento de que muito do progresso em aprendizagem robótica precisa de medições mais robustas antes de ser acreditado. Um artigo que gasta a sua credibilidade a vigiar a fronteira entre um resultado e um desejo está a fazer algo mais raro — e mais valioso — do que liderar uma tabela de resultados.

Resumo claro

Investigadores do Toyota Research Institute treinaram «large behavior models» — políticas robóticas baseadas em difusão, pré-treinadas com ~1 700 horas de dados diversos de manipulação — e testaram-nos contra políticas de tarefa única treinadas do zero usando um protocolo invulgarmente rigoroso: cego, aleatorizado, com grandes amostras (≈1 800 ensaios no mundo real e mais de 47 000 em simulação) e estatística real. Depois de afinação por tarefa, os modelos grandes tiveram desempenho agregado fiavelmente melhor, precisaram de cerca de 3–5 vezes menos dados específicos da tarefa e foram mais robustos quando as condições mudaram, enquanto o desempenho melhorava suavemente com mais dados de pré-treino. Mas, usados sem afinação, não superaram de forma consistente os modelos de tarefa única; vários efeitos eram tão pequenos que só as grandes amostras os revelaram; e uma escolha banal de normalização dos dados importou mais do que a arquitetura. É um apoio sólido e medido à direção dos foundation models de robótica — não um robô de uso geral, não um generalista zero-shot e não um «salto emergente» — além de um aviso direto de que muita robótica pode estar a medir ruído.

Verificação sem exageros

O que o artigo mostra: Com uma avaliação rigorosa, cega e com poder estatístico (≈1 800 execuções no mundo real + mais de 47 000 em simulação), políticas de difusão pré-treinadas em múltiplas tarefas e depois afinadas (LBMs) superam, no agregado, políticas de tarefa única treinadas do zero, atingem desempenho equivalente com ~3–5× menos dados específicos da tarefa e são mais robustas sob distribution shift; o desempenho escala suavemente com os dados de pré-treino.

O que é plausível, mas não está provado: Que estes benefícios se transfiram para modelos visão-linguagem-ação muito maiores (o codificador de linguagem usado era pequeno); que o escalamento suave continue para além do intervalo de dados testado.

O que não mostra: Um robô de uso geral ou zero-shot (sem afinação → sem vantagem consistente); qualquer salto de capacidade «emergente»; explicações para falhas específicas por tarefa; fiabilidade absoluta no mundo real (as taxas de sucesso foram ajustadas para perto de 50% para maximizar sensibilidade); qualquer conclusão sobre segurança ou implementação autónoma.

Principais limitações: As estatísticas captam a aleatoriedade da avaliação, mas não entre execuções de treino; 50 ensaios no mundo real por tarefa podem não detetar efeitos pequenos; uma arquitetura e um laboratório; codificador de linguagem modesto; um erro de normalização dos dados foi descoberto depois das avaliações; análise baseada no preprint (versão publicada não verificada).

Quanta confiança deve ter um leitor geral? Confiança elevada de que pré-treino multitarefa seguido de afinação traz benefícios reais e moderados — sobretudo eficiência de dados e robustez — e de que foram medidos de forma invulgarmente cuidadosa. Confiança elevada de que isto não é um robô de uso geral ou zero-shot e não é um salto emergente. Confiança média sobre até onde os ganhos escalam para modelos maiores. E vale a pena levar a sério o próprio aviso dos autores: os efeitos na área podem ser pequenos o suficiente para estudos com pouco poder estatístico acabarem a relatar ruído. A atitude adequada: otimismo medido sobre a abordagem e ceticismo saudável perante resultados de IA robótica sem este tipo de base estatística.