Посібник
Що таке егоцентричні відеодані? Відео реальної роботи від першої особи, з руками в кадрі
Егоцентричні відеодані — це відео від першої особи, на якому люди виконують реальні завдання; його знімають на рівні очей, з обома руками в кадрі. Dovra записує близько 5000 годин такого відео за 4-тижневий цикл. Команди, що працюють над робототехнікою та моделями світу, використовують його, бо воно показує завдання так, як його бачила б камера самого робота: руки, інструменти, об’єкти й послідовність дій.
Коротко
- Що це
- Відео реального завершеного завдання від першої особи, руки в кадрі
- Що на них навчають
- VLA-моделі, гуманоїдних роботів, мобільну маніпуляцію, моделі світу, генерацію відео
- Як їх знімають
- Телефон у кріпленні на голову, на рівні очей, з нахилом донизу
- Що робить їх корисними
- Руки, реальні завдання, неприбрані реальні робочі місця, різноманітність
- Що має постачатися разом із ними
- Метадані для кожного кліпу, згода та походження даних
Що насправді означає «егоцентричне»?
Егоцентричне — тобто зняте з погляду самої людини. Камера розташована на рівні очей, зазвичай на голові, і дивиться туди, куди дивиться людина. На практиці це означає, що руки, інструмент і об’єкт, з яким працюють, залишаються в кадрі протягом усього завдання. Екзоцентричне відео, навпаки, знімають ззовні, і камера дивиться на людину. Обидва варіанти мають своє застосування, але тільки егоцентричний ракурс відповідає тому, що бачить камера на голові чи зап’ясті робота під час роботи.
Хто використовує егоцентричні відеодані?
Команди, які створюють моделі, що мають діяти у фізичному світі. Найпоширеніші застосування:
- Моделі «зір — мова — дія» (VLA), які вчаться за побаченим та інструкцією визначати наступну дію і яким потрібні демонстрації того, як люди виконують завдання.
- Гуманоїдні роботи та роботи для мобільної маніпуляції, яким доводиться працювати з інструментами й предметами в просторах, створених для людей.
- Моделі світу, які вчаться того, як змінюються сцени, коли хтось у них діє.
- Генерація відео, якій потрібні реалістичні, непостановочні кадри рук і об’єктів у русі.
У всіх чотирьох випадках цінність та сама: велика кількість реальних демонстрацій, побачених із того ракурсу, з якого діятиме модель.
Що робить егоцентричні відеодані корисними для навчання?
Чотири речі: руки, реальні завдання, реальні робочі місця й різноманітність. Руки важливі, бо маніпуляція — найскладніша частина, тож на відео мають бути чітко видні хвати, контакт рук з об’єктами та робота з інструментом. Реальні завдання важливі, бо безцільні чи постановочні дії навчають хибної послідовності. Реальні робочі місця важливі, бо саме в тісних, захаращених і погано освітлених комерційних приміщеннях моделі дають збій після навчання на «чистих» сценах. А різноманітність країн, типів сцен і професій зменшує зсув розподілу, коли модель розгортають у новому місці.
Реальна чи постановочна робота: чому це важливо?
Незрежисовані записи людей, які виконують свою справжню роботу, містять те, що потрібно політиці керування і чого бракує постановочним записам. У реальних змінах є вагання, промахи й виправлення, справжній порядок кроків і безлад навколо робочої поверхні. Демонстрації за сценарієм мають охайний вигляд, але погано узагальнюються. Тому Dovra записує лише людський шар — зйомку реальної роботи від першої особи, — а не симуляцію чи телеоперацію. Записи з безцільними діями, майже статичними кадрами, записами екрана або зйомкою від третьої особи відхиляють на етапі перевірки й ніколи не оплачують.
Як знімають егоцентричне відео?
У Dovra — на власний телефон учасника в кріпленні на голову. Телефон розташований на лобі, на рівні очей, з нахилом донизу й горизонтально; обидві руки повністю в кадрі, освітлення добре. Записи з кріпленням на грудях не приймаються. Кожен кліп охоплює одне реальне завершене завдання й триває від 1 до 30 хвилин. Точну модель пристрою та ОС фіксують для кожного кліпу, тож покупець може фільтрувати або стратифікувати дані за сенсором. Більшість відхилень пов’язана з чіткістю: погане світло або неправильно розташований телефон.
Які метадані мають супроводжувати кожен кліп?
Достатні для того, щоб фільтрувати, стратифікувати й перевіряти набір даних, не переглядаючи його. Щонайменше:
| Поле | Навіщо воно потрібне |
|---|---|
| Домен і завдання (фіксована таксономія) | Відбирати й балансувати навчальні дані за навичками |
| Тип сцени та країна | Вимірювати й контролювати зсув розподілу |
| Модель пристрою та ОС | Фільтрувати або стратифікувати за сенсором |
| Тривалість, часова мітка, ідентифікатор сесії | Відновлювати довгі робочі процеси й усувати дублікати |
| Оцінка якості, виставлена людиною | Зважувати або відкидати кліпи перед навчанням |
Яка згода і яке підтвердження походження даних потрібні для егоцентричного відео?
Більше, ніж позначка учасника в чекбоксі, адже камера перебуває на чиємусь робочому місці. Набір даних, який витримає перевірку, спирається на підписану угоду з кожним учасником, письмовий дозвіл кожного бізнесу, де велася зйомка, запис про виплату за кожну схвалену годину, ліцензію на навчання моделей і документ про походження даних. Винятки мають бути прописані в угоді, а їх дотримання контролюється під час перевірки людиною: жодних неповнолітніх, документів, екранів, внутрішніх цін чи клієнтів, яких можна ідентифікувати. Якщо ви порівнюєте постачальників, скористайтеся нашим чек-листом із 10 запитань до постачальника.
Як Dovra постачає егоцентричні відеодані?
- Постійна потужність — близько 5000 годин за 4-тижневий цикл у 32 країнах, із найглибшим покриттям у Латинській Америці.
- 15 робочих доменів і 84 каталогізовані типи завдань; див. покриття набору даних.
- 72 години від брифу до перших кліпів у домені, що вже працює; новий домен — за 2–3 тижні.
- Кожну сесію оцінює людина, перш ніж її зараховують; ціна — за схвалену годину.
- Анотування — на запит, з окремою доплатою за годину. Доставка — зашифрованою передачею у ваш бакет, із маніфестом і карткою набору даних.
Dovra працює за підтримки Simera. Прочитайте, чому Simera підтримує Dovra.
Підсумок
Dovra постачає відео реальної роботи від першої особи у великих обсягах: близько 5000 годин за 4-тижневий цикл, зі згодою та походженням даних для кожного кліпу. Якщо ваша модель має діяти на реальних робочих місцях, почніть із пакета зразків, який містить ті самі метадані, що й повна поставка.
Подивіться справжні егоцентричні записи
Розкажіть, на яких доменах ви навчаєте моделі та скільки приблизно годин вам потрібно. Ми відповімо протягом одного робочого дня й надішлемо безкоштовний пакет зразків.
Запросити пакет зразків Переглянути покриття набору данихПоширені запитання
Що таке егоцентричні відеодані?
Егоцентричні відеодані — це відео від першої особи, записане камерою на рівні очей, зазвичай закріпленою на голові; воно показує, що людина бачить і що робить руками, виконуючи реальне завдання. Його використовують для навчання моделей «зір — мова — дія» (VLA), гуманоїдних роботів і роботів для мобільної маніпуляції, моделей світу та генерації відео.
Чим егоцентричне відео відрізняється від звичайного?
Звичайне відео знімають ззовні, дивлячись на людину. Егоцентричне знімають з погляду самої людини, тому руки, інструменти й предмети, з якими вона працює, залишаються в кадрі протягом усього завдання. Такий ракурс близький до того, що бачить власна камера робота.
Як знімають егоцентричне відео?
У Dovra учасники використовують власний телефон у кріпленні на голову — на рівні очей, з нахилом донизу, з обома руками повністю в кадрі. Кожен кліп охоплює одне реальне завершене завдання й триває від 1 до 30 хвилин. Модель пристрою фіксують для кожного кліпу.
Які метадані мають містити егоцентричні відеодані?
Домен і завдання за фіксованою таксономією, тип сцени, країну, модель пристрою та ОС, тривалість, часову мітку, ідентифікатор сесії та оцінку якості, виставлену людиною, а також запис про згоду й виплату для кожного кліпу.
Чи потрібна згода для егоцентричних відеоданих?
Так. Набір даних, який витримає перевірку, має підписану угоду з кожним учасником, письмовий дозвіл кожного бізнесу, де велася зйомка, запис про виплату за кожну схвалену годину, ліцензію на навчання моделей і документ про походження даних.