El laboratorio
Por qué construimos modelos locales
Queremos que las personas puedan ejecutar y adaptar los modelos que construimos. Esto incluye los requisitos de hardware y el control operativo en el resumen de investigación.
Queremos que un desarrollador pueda probar un modelo en su propio trabajo, elegir su versión y decidir a dónde van sus entradas. La inferencia local les da esa opción cuando el modelo se ajusta a su hardware.
reflex-1 se ejecuta en la CPU de un portátil. Su ejecución principal de adaptación entrenó 9.04M de parámetros dentro de un modelo de servicio de 421M de parámetros. Esto permite estudiar las tareas de decisión sin actualizar toda la red. El informe proporciona los resultados de precisión y puntualidad, incluidos los casos en los que falló el punto de control.
Samsara plantea una pregunta diferente: ¿cuánto rendimiento de manipulación podemos obtener de una política de 217M de parámetros? Su resultado de objeto LIBERO del 99.6% es prometedor. El informe de entrenamiento también registra los ocho H200 utilizados para la carrera. El tamaño del modelo por sí solo subestimaría ese costo.
Queremos que el software que rodea estos modelos deje las decisiones incontrolables. Un operador debería poder ver qué modelo se ejecutó, qué seleccionó y qué acción siguió. Deberían poder probar un reemplazo antes de usarlo.