Данные из реальной работы для обучения роботов

Записи от первого лица и аннотации для лабораторий робототехники, команд мировых моделей и исследовательских групп. Определите задачу, метод захвата и данные, необходимые вашей модели.

Выберите свой метод захвата.

Сбор данных робототехники начинается с сигнала, необходимого вашей модели.

Эгоцентричное видео

Руки, инструменты и контекст с точки зрения работника.

Объём: Точка зрения, видимость и вариация сцены.

Человеческие демонстрации

Задача, показанная от установки к результату.

Объём: Инструкции, действия и восстановление.

Данные о телеоперации

Наблюдения и команды роботов во время управления человеком.

Объём: Реализация, действия и синхронизированные сигналы.

Определите каждый эпизод.

Согласуйте спецификацию до начала сбора эгоцентричных данных.

Задача и результат

Инструкция, начальное состояние и критерии завершения.

Границы эпизода

Начало, конец, сбросы и частичные попытки.

Видео и время

Точка зрения, частота кадров, разрешение и синхронизация.

Охват и качество

Люди, настройки, вариации и приемочные проверки.

Выберите аннотации.

Согласуйте поля и определения меток, которые нужны вашему проекту.

Эпизод и идентификаторы источников

Отслеживайте каждый сегмент до его записи.

Действия и объекты

Шаги с временными метками и видимые изменения состояния.

Руки и результаты

Область трасс, завершение, неудача и восстановление.

Качество и версии

Рекордная неопределенность и пересмотр этикеток.

Укажите свой формат обучения.

LeRobot, HDF5 и RLDS, это требования к области применения, а не верифицированные интеграции. Конверсия не может создавать незаписанные действия робота.

Леробот

Версия набора данных, функции, ключи камеры и представление действия.

HDF5

Группы, формы, типы, единицы и сжатие.

РЛДС

Наблюдения, действия, ступенчатые флаги и метаданные эпизодов.

Читать руководство по формату LeRobot

Частые вопросы

Что такое данные обучения роботов?

Данные обучения роботов содержат наблюдения, демонстрации, инструкции и, где записано, действия для обучения или оценки моделей роботов. Требуемые сигналы зависят от задачи и робота.

Включает ли эгоцентрическое видео действия роботов?

Нет. Эгоцентричное видео записывает взгляд человека. Действия робота требуют отдельно измеряемых сигналов или обоснованного отображения.

Могу ли я запрашивать LeRobot, HDF5 или RLDS?

Да. Включите формат и версию загрузчика в свой запрос. Wake предоставляет доступные поля и совместимость перед согласованием доставки.