Главная → Orbbec → Камера глубины с Jetson

Камера глубины с Jetson: настройка и бенчмарк FPS

Почему Jetson

Jetson — это одноплатный компьютер с GPU, который ставят на роботов и мобильные платформы. Для камер глубины он удобен по трём причинам: хватает вычислительной мощности на обработку глубины и нейросетей одновременно; есть аппаратное кодирование видео для передачи потока; и есть готовые драйверы для большинства камер Orbbec.

Для задач навигации и распознавания объект глубины нужно обрабатывать на месте, без отправки в облако — на складе или на объекте часто нет нормального канала. Jetson Orin Nano справляется с этим на 640×480 и 30 fps, Orin NX — с более высоким разрешением и параллельной нейросетью.

Какие камеры подходят

Для Jetson важны интерфейс и питание. Условно камеры делятся на две группы:

• USB-камеры — подключаются в порт USB 3.0, проще всего для прототипа. Ограничение: на длинных кабелях и при нескольких камерах появляются проблемы с полосой и питанием.
• Камеры с GMSL2 — например, Gemini 335Lg — подключаются через плату захвата и тянут 10–15 м кабеля без потерь. Это стандарт для AMR и промышленных роботов.

Если на платформе планируется несколько камер, GMSL2 почти всегда выигрывает: одна плата захвата синхронизирует потоки и не конфликтует по шине. Общий разбор выбора камеры — в статье ToF или стерео.

Что понадобится

Настройка: порядок действий

1. Прошейте плату. JetPack ставится через SDK Manager; версия должна соответствовать ядру и драйверам GMSL2.
2. Проверьте питание и порты. Камера должна определяться как USB-устройство или через плату захвата — до установки SDK.
3. Поставьте Orbbec SDK. Соберите из исходников под нужную версию JetPack; готовые deb-пакеты есть не для всех версий.
4. Запустите проверку. Утилита SDK показывает поток глубины и цвет; если изображения нет — проверяйте права доступа к устройству.
5. Проверьте V4L2. Для USB-камер полезно убедиться, что устройство видно в списке видеоустройств и отдаёт нужный формат.
6. Замерьте FPS и задержку. Не по «ощущению», а по логу: сколько кадров в секунду и какая задержка от кадра до обработки.

Для ROS 2 есть готовый драйвер: он публикует топики depth и color, а дальше данные уходят в rviz2. Если планируется нейросеть, кадры удобно забирать через компонент ROS 2 и отдавать в TensorRT.

Бенчмарк: ориентиры по FPS

Цифры ниже — практические ориентиры для одной камеры при потоковой обработке без нейросети. Результат зависит от разрешения, формата и настроек питания.

Если FPS ниже ожидаемого, проверяйте в таком порядке: режим питания (MAXN), охлаждение, формат кадра (MJPG против YUYV), количество одновременно открытых потоков и версию драйвера. На практике половина проблем — это энергосберегающий режим и перегрев.

Оптимизация

• Понижайте разрешение, а не FPS. Для навигации 640×480 достаточно; глубина на 720p редко нужна целиком.
• Используйте аппаратное кодирование, если поток нужно передавать по сети.
• Считайте на GPU. Фильтрация глубины и нейросети на TensorRT дают кратный выигрыш против CPU.
• Не открывайте лишние потоки. Цвет нужен не всегда; отключение RGB освобождает полосу.
• Следите за температурой. Троттлинг на Orin NX начинается быстро, если корпус закрыт.

Типичные ошибки

1. Камера подключена в USB 2.0 — поток работает, но FPS втрое ниже.
2. Питание от платы без стабилизации — камера «отваливается» под нагрузкой.
3. Неверная версия JetPack — драйвер GMSL2 не собирается.
4. Отсутствие калибровки: глубина «плывёт» по краям кадра. См. калибровка камеры глубины.
5. Замер FPS «на глаз» без логов — реальная задержка остаётся незамеченной.

Чек-лист перед запуском

• Плата в режиме максимальной производительности, охлаждение проверено.
• Камера определяется стабильно после перезагрузки.
• FPS и задержка измерены логированием, а не визуально.
• Калибровка выполнена под рабочий кожух и стекло.
• Проверено поведение при нагреве 30–40 минут.
• Есть план на случай потери камеры (робот не должен «слепнуть» молча).

Готовые сценарии на Jetson — навигация AMR на складе и инспекция; про складские задачи есть отдельный хаб 3D-съёмка складов.

Частые вопросы

Какие камеры Orbbec ставят на Jetson

Выбор модели определяется задачей и условиями, а не платформой: Jetson поддерживает большинство камер линейки. Ориентир по моделям:

Для уличных платформ важна защита корпуса: IP67 означает, что камера переживает дождь и пыль, но не гарантирует работу при обледенении. Если робот работает зимой, нужен подогрев или защитный кожух.

Питание и корпус

Питание — самая недооценённая часть. Jetson и камеры питаются от одного аккумулятора, и при пиковой нагрузке просадка напряжения выключает камеру. Практика: отдельный стабилизированный преобразователь на камеры, запас по току 30–50%, и контроль напряжения в логах. Если камера «пропадает» под нагрузкой — почти всегда это питание, а не драйвер.

Корпус влияет на охлаждение и оптику. Закрытый герметичный бокс без обдува приводит к троттлингу Orin NX через 20–30 минут работы, а стекло перед объективом добавляет блики и требует калибровки с учётом стекла. Для уличных проектов стекло должно быть с просветляющим покрытием и обогревом.

Сеть и передача данных

Если робот передаёт данные на сервер, важно не гнать сырую глубину по Wi-Fi: поток 640×480 на 30 fps — это десятки мегабит. Разумнее обрабатывать на борту и отправлять результат: координаты объектов, карту, события. Для тяжёлых задач (облака точек, SLAM) данные копят локально и синхронизируют при подключении к сети.

Для удалённой отладки удобно поднимать на Jetson ROS 2 bridge или VPN: тогда инженер видит топики и может проверить камеру без выезда. Это экономит дни на площадке.

Что дальше

После того как камера стабильно отдаёт 30 fps и задержка измерена, следующий шаг — калибровка и интеграция с навигацией. Если планируется SLAM или обмер, посмотрите хаб SLAM-съёмка объектов: там описано, как облако точек и камеры дополняют друг друга. Для складских роботов — 3D-съёмка складов.

Как правильно мерить FPS и задержку

Бенчмарк «на глаз» почти всегда врёт: поток выглядит плавным, а задержка при этом достигает 200–300 мс, чего для робота достаточно, чтобы не успеть остановиться. Правильная методика простая и занимает полчаса.

1. Считайте кадры за интервал. Возьмите 60 секунд работы и посчитайте принятые кадры. Средний FPS = кадры / время; отдельно смотрите минимум — именно он показывает «провалы».
2. Мерьте задержку меткой времени. В кадр или рядом положите часы с миллисекундами и снимите видео экрана. Разница между показанием на объекте и на экране — сквозная задержка.
3. Проверяйте под нагрузкой. Запустите рядом нейросеть или SLAM и повторите замер: часто FPS падает именно при совместной работе.
4. Смотрите на стабильность. Ровные 25 fps лучше, чем 30 с провалами до 10: алгоритмам навигации нужен предсказуемый поток.
5. Фиксируйте условия. Разрешение, формат, режим питания и температура — без них замер нельзя повторить.

Результаты записывайте в таблицу: платформа, камера, разрешение, FPS средний и минимальный, задержка, температура. Через месяц вы будете знать, где узкое место, а не гадать.

Отдельно стоит проверить поведение при старте: некоторые камеры инициализируются 1–2 секунды, и если робот начинает движение сразу, первые кадры теряются. Простое решение — ждать готовности потока по флагу в драйвере, а не по таймеру. На складе, где робот стартует из зоны зарядки, это избавляет от «слепых» секунд в проходе.

Если планируете несколько роботов на одном участке, заранее продумайте синхронизацию камер и разнесение частот: две одинаковые камеры рядом иногда мешают друг другу подсветкой, и это видно только на реальной площадке, а не на столе.