Перейти к содержанию

Выбор данных

Как выбрать открытые эгоцентрические данные для обучения роботов

Сравните человеческое видео от первого лица с демонстрационными наборами данных робота. Ego4D, EPIC-KITCHENS и Ego-Exo4D подчеркивают человеческую активность; DROID и Open X-Embodiment обеспечивают траектории роботов.

Автор: Wake ·

Нарисованный робот между исследовательским архивом и практическим монтажным стендом.

Практическое сравнение.

ИсточникНаучный акцентЧто проверить
Эго4ДШирокие ежедневные действия от первого лица и контрольные задачи.Соответствующие сценарии, доступные условия и аннотации к бенчмаркам.
ЭПИК-КитченсДеятельность от первого лица на домашних кухнях.Сегменты действия, словарный запас объектов и раздельные определения.
Ego-Exo4DКвалифицированная деятельность с эгоцентрическими и внешними взглядами.Какие виды и аннотации существуют для выбранной деятельности.
ДроидДемонстрации манипуляций с роботами.Виды камеры, состояние, действия и калибровка.
Открытое X-воплощениеДемонстрации роботов в нескольких вариантах осуществления.Набор исходных данных, робот, представление действий и лицензия.
Коллекция WakeЗаписи на рабочем месте распространяются вокруг задачи покупателя.Осуществимость, разрешения, спецификация эпизода и требования к аннотации.

Деятельность человека: Ego4D, EPIC-KITCHENS и Ego-Exo4D.

Начните с Ego4D для различных мероприятий от первого лица, EPIC-KITCHENS для действий на кухне и Ego-Exo4D для парного первого лица и внешних видов. Проверьте аннотации каждого выпуска на ваш вопрос.

Набор данных DROID: записанные манипуляции с роботами.

DROID предоставляет траектории манипулирования роботами, включая наблюдения и действия камеры. Проверьте его роботизированную настройку, калибровку и покрытие задач, прежде чем использовать его для обучения политике.

Открытое X-воплощение: обучение роботов.

Open X-Embodiment объединяет наборы данных от разных роботов. Проверяйте соглашения о наблюдении и действиях каждого источника, доступные поля и условия. Общий контейнер не делает действия каждого робота эквивалентными.

Когда уже имеющихся данных достаточно.

Начните с существующего выпуска, когда он содержит соответствующие наблюдения и метки и предлагает соответствующую оценку. Он может показать, стоит ли продолжать работу над идеей моделирования, прежде чем команда определит новую коллекцию.

Когда вводить новые данные.

Новая коллекция становится полезной, когда остается конкретный пробел: конкретный инструмент, отсутствующий рабочий процесс, более длительная непрерывность задачи, требуемый режим отказа или настройка оценки, отсутствующая в выпуске. Определите этот пробел в наблюдаемых терминах.

Частые вопросы

Означает ли открытие эгоцентрических данных неограниченное использование?

Нет. Общедоступность и разрешение на конкретное использование, это отдельные вопросы. Прочитайте текущие условия для точного выпуска набора данных и работы, которую вы собираетесь сделать.

Какой эгоцентрический набор данных лучше всего подходит для робототехники?

Нет лучшего выбора для обучения роботов. Выберите задачу, точку зрения, аннотации, измеренные сигналы и дизайн оценки. Для некоторых целей требуются данные о действиях роботов, которые не содержат видео человека.

Когда нужно собирать новые данные?

Собирайте новые данные, когда вы можете назвать соответствующий пробел в существующих выпусках, таких как среда, объект, рабочий процесс или сигнал, необходимый для вашего эксперимента.

Являются ли DROID и Open X-Embodiment эгоцентричными наборами данных?

Нет. Они предоставляют демонстрационные данные роботов. Сравните их с человеческим видео при принятии решения о том, нужен ли вашему проекту наблюдаемая деятельность человека или записанные действия робота.

Источники и материалы по теме

Первичные источники проверены: 26 октября 2026 г..

Читайте также

Чему ваш робот должен научиться дальше?

Опишите задачу, условия и нужные сигналы. Вместе определим требования к сбору и разметке.