re1
Memória espacial para IA física. Retorne a uma observação, inspecione o vídeo de origem e reconstrua o local para simulação.
Em desenvolvimento. Prévias técnicas disponíveis.
re1/Da observação à reutilização
Experiência capturada
Vídeo · identidade da câmera · tempoEncontre o momento Recupere os intervalos prováveis e inspecione o vídeo de origem
Recuperar o lugarRevisite um ambiente e inspecione seus objetos
O que ele faz
Revisite uma observação
Recupere momentos de vídeo, verifique os clipes de origem e veja quais partes de uma gravação foram inspecionadas.
Reconstruir um lugar
Retorne a um ambiente capturado, explore outro ponto de vista e inspecione objetos individuais.
Prepare uma simulação
Leve ambientes capturados para simulação e continue a inspeção e os testes.
re1 é o sistema de memória espacial que estamos construindo para a IA física. Ele mantém as observações disponíveis após a sessão original: uma consulta pode retornar a um momento, um pesquisador pode inspecionar a fonte e uma reconstrução pode ser reutilizada para simulação.
A experiência registrada deve continuar útil quando um experimento muda. Uma nova pergunta pode precisar de uma observação anterior; um novo teste pode precisar do mesmo ambiente. re1 torna esses registros e lugares acessíveis novamente.
Uma memória que guarda suas fontes
re1/Memória espacial
Busque uma gravação. Confira a resposta. Revisite o lugar.
01 / Recuperar
Encontre a observação que você precisa.
Uma busca por máquinas manipulando pacotes em ambientes internos encontra gravações de armazéns e braços robóticos. Abra um resultado para examinar a fonte.
Consulta → observações gravadasCaptura do produtoMáquinas que manipulam pacotes em ambientes fechados
BuscarAbrirInspecionarResultados reais da pesquisa. Abra a imagem para inspecionar a interface original. 02 / Inspecionar
Siga uma resposta até sua fonte.
A resposta capturada cita 0:12–0:20 da gravação do armazém. O leitor pode abrir esse intervalo e comparar a descrição com o vídeo.
Resposta → intervalo inspecionadoCaptura do produtoResposta registrada · trecho
A área de embalagem e triagem opera normalmente, com várias esteiras e braços robóticos funcionando conforme o esperado.
Intervalo original0:12–0:20
0:12–0:20Vídeo original inspecionado
Trecho de uma resposta registrada. A citação corresponde ao intervalo indicado. 03 / Revisitar
Mantenha um local disponível após a captura.
Percorra um ambiente capturado de outro ponto de vista e inspecione seus objetos. As cenas preparadas continuam disponíveis para trabalhos posteriores.
Captura → cena persistenteCaptura do produto
Um lugar para revisitarCena concluída
Um quadro da reconstrução concluída mostrado no vídeo desta página.
Capturado na versão de pesquisa do re1.
Descreva um evento, encontre uma gravação correspondente e verifique o que aconteceu. Perguntas sobre movimento e sequência remetem ao vídeo original, com referências de tempo que permitem conferir a resposta.
A demonstração abaixo busca máquinas manipulando pacotes, abre um trecho correspondente e faz uma pergunta. A resposta identifica o intervalo descrito. Um intervalo verificado sustenta afirmações sobre ele, não sobre toda a gravação.
Resposta registrada · trecho
A área de embalagem e triagem opera normalmente, com várias esteiras e braços robóticos funcionando conforme o esperado.
Intervalo original0:12–0:20
Da captura a uma cena simulada
Retorne a um lugar capturado e examine-o de outro ponto de vista. A cena continua disponível após a gravação; os objetos podem ser inspecionados individualmente e os arquivos do ambiente usados em simulação.
A gravação acima percorre uma cena concluída. As lacunas e regiões incompletas visíveis fazem parte do resultado. A reprodução mostra a experiência de visualização, não o tempo necessário para preparar o ambiente.
Usar uma cena em experimentos físicos exige mais que uma imagem convincente. Escala, comportamento de contato e propriedades dos materiais precisam de validação para a tarefa.
Trabalho que continua
Gravações e cenas preparadas permanecem entre sessões. Pesquisadores podem retomar evidências ou reutilizar um ambiente conforme o experimento avança. O objetivo é reduzir a preparação repetida e facilitar o uso de observações anteriores.
Os recursos necessários dependem da captura e do trabalho solicitado. Não publicamos requisitos de hardware nem latência do sistema completo.
Direção de pesquisa
Nosso objetivo de longo prazo é uma memória que melhore como um agente aprende com a experiência. A versão atual cobre consulta de vídeo e ambientes capturados. Conectar essa memória ao aprendizado de políticas continua sendo uma linha de pesquisa ativa.
Para uma prévia técnica ou colaboração de pesquisa, envie uma captura representativa, a pergunta que você precisa responder e o artefato que seu experimento precisa consumir. Estamos particularmente interessados em fluxos de trabalho de memória de vídeo, reconstrução de cenas e aprendizado de robôs.
Outros sistemas
Também aqui: Colony