Por que criamos modelos locais

Queremos que um desenvolvedor possa testar um modelo em seu próprio trabalho, escolher sua versão e decidir para onde vão suas entradas. A inferência local oferece essa opção quando o modelo se ajusta ao hardware.

O reflex-1 é executado em uma CPU de laptop. Sua principal execução de adaptação treinou 9.04M de parâmetros dentro de um modelo de serviço de 421M de parâmetros. Isso possibilita estudar as tarefas de decisão sem atualizar toda a rede. O relatório fornece os resultados de precisão e tempo, incluindo onde o checkpoint falhou.

Samsara faz uma pergunta diferente: quanto desempenho de manipulação podemos obter de uma política de 217M de parâmetros? Seu resultado de 99.6% do LIBERO Object é promissor. O relatório de treinamento também registra os oito H200 usados para a corrida. O tamanho do modelo por si só subestimaria esse custo.

Queremos que o software em torno desses modelos deixe as decisões inspecionáveis. Um operador deve ser capaz de ver qual modelo foi executado, o que ele selecionou e qual ação foi seguida. Eles devem poder testar um substituto antes de usá-lo.