Vídeo egocêntrico
Mãos, ferramentas e contexto do ponto de vista do trabalhador.
Âmbito: Ponto de vista, visibilidade e variação de cena.
Para laboratórios de robótica
Dados de treino para robôs a partir de trabalho real
Gravações em primeira pessoa e anotações para laboratórios de robótica, equipas de modelos mundiais e grupos de pesquisa. Alcance a tarefa, método de captura e dados que seu modelo precisa.
Escolha o seu método de captura.
A recolha de dados da Robotics começa com o sinal que seu modelo precisa.
Demonstrações humanas
Uma tarefa mostrada da configuração ao resultado.
Âmbito: Instruções, passos de ação e recuperação.
Dados de teleoperação
Observações e comandos de robôs durante o controle humano.
Âmbito: Incorporação, ações e sinais sincronizados.
Defina cada episódio.
Concordo com a especificação antes de começar a recolha de dados egocêntricos.
- & Resultado da tarefa
- Instrução, estado inicial e critérios de preenchimento.
- Limites do episódio
- Iniciar, terminar, reiniciar e tentativas parciais.
- & Temporização do vídeo
- Ponto de vista, taxa de quadros, resolução e sincronização.
- Cobertura e qualidade
- Pessoas, definições, variações e verificações de aceitação.
Escolha as anotações.
Concordo com os campos e definições de etiquetas que o seu projeto precisa.
- IDs de & origem do episódio
- Rastreie cada segmento até sua gravação.
- Ações e objetos
- Passos da hora e alterações visíveis do estado.
- Mãos e resultados
- Âmbito faixas, conclusão, falha e recuperação.
- & Versões de qualidade
- Gravar a incerteza e as revisões do rótulo.
Especifique seu formato de treino.
LeRobot, HDF5 e RLDS são requisitos para o âmbito, não as integrações verificadas. A conversão não pode criar ações de robô não gravadas.
LeRobot
Versão de dataset, recursos, chaves da câmara e representação de ação.
HDF5
Grupos, formas, tipos, unidades e compressão.
RLDS
Observações, ações, bandeiras de passos e metadados de episódios.
Perguntas frequentes
O que são dados de treino de robôs?
Os dados de treino de robôs contêm observações, demonstrações, instruções e, quando registrados, ações para treino ou avaliação de modelos de robôs. Os sinais necessários dependem da tarefa e do robô.
O vídeo egocêntrico inclui ações de robôs?
Não. O vídeo egocêntrico registra a visão de uma pessoa. As ações do robô precisam de sinais medidos separadamente ou um mapeamento justificado.
Posso pedir LeRobot, HDF5 ou RLDS?
Sim. Inclua o formato e versão do carregador em sua pergunta. Wake examina os campos disponíveis e compatibilidade antes de concordar com a entrega.
O que deve o seu robô aprender?
Descreva a tarefa e os dados de que precisa. Comece aqui ou use o nosso formulário de contacto.
Referências sobre os formatos: Hugging Face: LeRobotDataset v3.0 · Pesquisa Google: modelo de dados RLDS