Камера глубины для робота-манипулятора: захват и бин-пикинг

Для захвата объектов роботом-манипулятором камера глубины обязана работать на короткой дистанции 0,3–1,5 м, давать точную картину мелких деталей и минимальную задержку: контроллер должен получить облако точек раньше, чем завершится цикл перемещения захвата. Мы рекомендуем схему из двух камер: Orbbec Femto Bolt смотрит на всю рабочую зону и находит объекты, а Gemini 215 детально сканирует деталь непосредственно перед захватом. Такая связка закрывает бин-пикинг из лотков и тары, работу с россыпью и приём заготовок с конвейера. Обе камеры штатно интегрируются с ROS 2 и MoveIt: камера отдаёт глубину и облако точек, планировщик строит траекторию. Ниже — требования к камере, разбор сценариев и сравнение по дистанции и точности.

Что требуется камере для захвата деталей

Бин-пикинг предъявляет к камере три жёстких требования. Первое — короткая рабочая дистанция: рука с захватом работает в зоне 0,3–1,5 м, и камера должна уверенно мерить глубину именно здесь, без слепой ближней зоны. Второе — точность на мелких деталях: чтобы отличить болт от шпильки и найти грань под захват, облако должно передавать геометрию без провалов на тёмном и блистящем металле. Третье — латентность: кадр глубины и облако точек должны приходить на контроллер с минимальной задержкой, иначе манипулятор схватит по устаревшей позе. Сюда же — синхронизация глубины и цвета в одном кадре: цвет помогает сегментировать объекты, и рассинхрон каналов ломает привязку маски к геометрии.

Схема из двух камер: обзор плюс детальный захват

Одна камера на всю ячейку — компромисс: широкий обзор означает меньшую детализацию на мелких деталях. Практичная схема разделяет задачи. Orbbec Femto Bolt с ToF-датчиком и RGB 4K висит над зоной и решает обзор: где лоток, сколько объектов, где свободное место — на этой карте строится грубая локализация. Gemini 215 смотрит в зоне захвата: камера создана для детального сканирования объектов с близкой дистанции и передаёт геометрию, по которой вычисляется точная поза и способ захвата. Контроллер совмещает обе картины: общая сцена — от Femto Bolt, точный прицел — от Gemini 215. Для простых ячеек с крупными деталями допустима одна камера, но с ростом номенклатуры связка окупается.

Бин-пикинг по шагам

Цикл выглядит так. Сначала Femto Bolt снимает ячейку и определяет, в каком лотке что лежит и где есть свободное место. Затем робот наводит Gemini 215 на выбранную деталь: камера отдаёт плотное облако, алгоритм сегментирует объект, отделяет его от соседей и стенок тары, вычисляет позу и точку захвата. Планировщик MoveIt строит траекторию с обходом соседних деталей, захват выполняется, и после подъёма камера проверяет, что деталь сидит в губках правильно. Дальше заготовка передаётся на сборку, упаковку или в станок, и цикл повторяется со следующим объектом. Отдельный выигрыш — россыпь: новые позиции просто добавляются в базу моделей, без преподавания каждой позы вручную. Весь цикл занимает секунды, и именно латентность камеры определяет итоговую производительность ячейки.

Сравнение сценариев: камера, дистанция, точность

В таблице — типовое распределение задач между камерами. Дистанции соответствуют рабочей зоне манипулятора 0,3–1,5 м, о которой говорили выше. Если сцена шире ячейки, Femto Bolt уходит в обзорный режим, а Gemini 215 остаётся прицелом на локальной зоне захвата.

Сцена	Камера	Дистанция	Точность
Обзор ячейки, поиск объектов	Femto Bolt	0,3–1,5 м и далее	Грубая локализация
Захват мелких деталей	Gemini 215	0,3–1,5 м	Максимальная детализация облака
Пикинг из плотной укладки	Связка двух камер	0,3–1,5 м	Поза объекта для захвата
Приём заготовок с конвейера	Femto Bolt	0,3–1,5 м и далее	Трекинг положения
Контроль после захвата	Gemini 215	0,3–1,5 м	Проверка положения детали

Интеграция с ROS 2 и MoveIt

Обе камеры заводятся в ROS 2 штатно: драйверы публикуют карту глубины, облако точек и цветной кадр в стандартные топики, после чего MoveIt получает облако как сенсор сцены и строит траектории с учётом препятствий. После монтажа выполняется hand-eye-калибровка: она связывает систему координат камеры с базой робота, и без неё точный захват не заработает. Подключение камер глубины к ROS мы разбирали ранее в отдельном материале про камеру глубины для ROS — там же о выборе модели по интерфейсам и дальности. Если ячейка ставится на мобильную платформу, пригодится наш обзор камер глубины для AGV. Обучение работе с ROS 2 и MoveIt входит в поставку: инженер клиента стартует без самостоятельного изучения документации.

Частые вопросы

Можно ли обойтись одной камерой?
Да, если детали крупные и лежат упорядоченно. Для россыпи мелких деталей связка «обзор плюс детальный скан» заметно повышает долю успешных захватов.

Какая задержка у камер глубины?
Обе модели отдают глубину в реальном времени по USB. Конкретная латентность зависит от разрешения и мощности хоста — в ячейке её замеряют и компенсируют предсказанием позы.

Подойдёт ли Gemini 215 для крупных объектов?
Она создана для детального сканирования с близкой дистанции, крупным сценам её не хватает. Обзор лучше отдать Femto Bolt и оставить Gemini 215 точным прицелом.

Чем бин-пикинг отличается от обычного захвата?
Детали лежат россыпью и перекрывают друг друга, поэтому нужен этап сегментации и выбора точки захвата — его и закрывает камера глубины.

Сколько стоит и какие сроки поставки?
Цена по запросу: зависит от конфигурации ячейки. Поставка камер Orbbec занимает 30–45 дней, доставка по России бесплатная.

Поможете с запуском ячейки?
Да: подберём камеры, поможем с интеграцией и обучим инженера работе с ROS 2 и MoveIt. Запросите коммерческое предложение с описанием задачи.

Обе камеры — часть экосистемы Orbbec: обзорная ToF-модель и точная стереокамера для деталей. Полный каталог производителя — на странице Orbbec, купить камеры можно в разделе https://luwam.ru/shop/. Пришлите описание ячейки через форму коммерческого предложения — подготовим конфигурацию под задачу, срок поставки 30–45 дней, доставка бесплатная.