Камера глубины для бин-пикинга: точность на мелких объектах

Бин-пикинг (bin picking) — выборка деталей роботом из накопителя, где они лежат вразвал — считается одной из самых сложных задач промышленного машинного зрения. Ключевой элемент такой системы — камера глубины: именно от качества 3D-данных зависит, сможет ли манипулятор распознать следующую деталь, рассчитать точку захвата и не столкнуться со стенками бункера. В этой статье разберём, почему бин-пикинг требователен к сенсору, какие требования предъявлять к камере при работе на дистанции 0,3–1 м и какие модели Orbbec и Femto из каталога решений для робототехники и автоматизации подходят под конкретные сценарии.

Что такое бин-пикинг и почему это сложно

В классической схеме бин-пикинга камера смотрит на контейнер с деталями, система зрения строит облако точек, алгоритм сегментирует отдельные объекты, вычисляет позу каждой детали (6 DoF) и выбирает ту, которую можно безопасно захватить. Дальше планировщик строит траекторию, и робот забирает деталь. Звучит просто, но на практике система сталкивается с набором проблем.

Случайная ориентация и перекрытие. Детали лежат под произвольными углами, часто частично закрывают друг друга. Камера видит только верхний слой, поэтому плотность и полнота облака точек критичны: любая «дыра» в данных — это риск ошибочной позы захвата.

Блестящие и тёмные поверхности. Металлические детали после обработки дают зеркальные блики: активная подсветка отражается в сторону от сенсора, и в карте глубины появляются провалы. Чёрные пластики, наоборот, поглощают ИК-излучение. Поэтому для бин-пикинга важны широкий динамический диапазон сенсора, качественная активная подсветка и алгоритмы фильтрации шумов.

Мелкие объекты. Чем меньше деталь, тем выше требования к пространственному разрешению: для надёжного распознавания позы на каждый объект должно приходиться достаточно точек. При дистанции установки камеры над бункером 0,3–1 м нужна камера, которая сохраняет точность именно на этой «рабочей зоне», а не только на дальних дистанциях.

Скорость цикла. Пока система зрения думает, робот простаивает. Съёмка сцены, обработка и планирование должны укладываться в секунды, иначе экономика ячейки разваливается.

Требования к камере глубины для бин-пикинга

Из практики внедрения можно выделить пять групп требований.

• Точность на рабочей дистанции 0,3–1 м. Для позиционирования захвата ошибка глубины должна быть существенно меньше характерного размера детали. Ориентир — миллиметры и доли миллиметра на близких дистанциях, единицы миллиметров — на метровой зоне бункера.
• Скорость кадров. Карта глубины 30 fps — комфортный минимум для статичной сцены; режимы 60–90 fps полезны, когда камера установлена на фланце робота (eye-in-hand) и снимает в движении.
• Разрешение глубины. От него зависит число точек на мелкой детали. Для объектов размером в несколько сантиметров желательны сенсоры 1280×800 и выше.
• Промышленное исполнение. Пыль, вибрации, температурные режимы цеха требуют защиты корпуса (IP65/IP67 для жёстких условий), промышленных разъёмов и стабильного интерфейса — Ethernet с PoE удобнее USB на длинных трассах.
• Экосистема интеграции. Открытый SDK, готовые драйверы ROS/ROS2, поддержка многокамерной синхронизации и встроенный IMU заметно сокращают сроки запуска ячейки.

Камеры Orbbec и Femto для бин-пикинга

В каталоге LUWAM представлены камеры глубины Orbbec двух технологических семейств: активная стереоскопия (серия Gemini) и iToF — indirect Time-of-Flight (серия Femto). Ниже — модели, которые чаще всего рассматривают для задач выборки из бункера.

Orbbec Gemini 215 — специалист по мелким объектам на близкой дистанции. Точность менее 0,5 мм на расстоянии 30 см, минимальное расстояние между точками 0,16 мм на дистанции 15 см. Два рабочих режима: 0,15–0,30 м (высокая точность) и 0,20–0,70 м (расширенный). Глубина до 1280×800 при 30 fps, вес всего 105 г, питание по USB Type-C со средним потреблением менее 2,5 Вт. Оптимальна для конфигурации eye-in-hand, когда камера стоит на захвате и обслуживает мелкие детали.

Orbbec Gemini 335 (99 900 ₽) — универсальная активная стереокамера с VCSEL-подсветкой 850 нм и встроенным процессором MX6800, который считает глубину на борту. Диапазон максимальной точности — 0,3–3 м, что точно накрывает типовую зону установки над бункером. Пространственная точность ≤ 1,5% на дистанции 2 м, разрешение глубины до 1280×800 при 30 fps и 640×400 при 90 fps — последнее важно для съёмки в движении: ИК-сенсоры работают с глобальным затвором, без искажений «желе». Поле зрения 90°×65°, вес 97 г, интерфейс USB Type-C, защита IP5X.

Orbbec Gemini 335Le (99 000 ₽) — промышленная версия той же платформы и прямой кандидат для бин-пикинга: производитель позиционирует её в том числе для роботизированных манипуляторов, выборки из накопителей и работы с объектами разной формы и текстуры. Защита IP67, разъёмы M12/M8, Gigabit Ethernet с PoE (один кабель на питание и данные до 100 м), устойчивость к вибрациям 5Grms, рабочий диапазон температур от −10 до +50 °C, задержка реального времени ≤ 40 мс. Разрешение до 1280×800 при 30 fps (или 848×530 при 60 fps), встроенный IMU, поддержка RS-485.

Orbbec Femto Mega (99 900 ₽) — iToF-камера со встроенным NVIDIA Jetson Nano: фильтрацию облака точек и даже инференс нейросети по распознаванию деталей можно выполнять прямо на камере, разгружая контроллер ячейки. Точность глубины — менее 11 мм + 0,1% от расстояния, прецизионность ≤ 17 мм. Два режима обзора: WFOV 120°×120° (дальность 0,25–2,88 м) для широких бункеров и NFOV 75°×65° (0,5–5,46 м) для большей дистанции. RGB-камера 4K с HDR, Gigabit Ethernet с PoE, IMU до 2000 Гц, синхронизация до 8 камер — удобно перекрывать большой накопитель с нескольких ракурсов.

Параметр	Gemini 215	Gemini 335	Gemini 335Le	Femto Mega
Технология	Активная стерео	Активная стерео	Активная стерео	iToF (Microsoft)
Рабочая зона точности	0,15–0,70 м	0,3–3 м	до 20 м и более	0,25–2,88 м (WFOV)
Точность	< 0,5 мм на 30 см	≤ 1,5% на 2 м	высокая плотность карты глубины	< 11 мм + 0,1% дистанции
Разрешение глубины	до 1280×800 @ 30 fps	до 1280×800 @ 30 fps; 640×400 @ 90 fps	до 1280×800 @ 30 fps; 848×530 @ 60 fps	до 1024×1024 (WFOV)
Поле зрения глубины	—	90°×65°	—	120°×120° / 75°×65°
Интерфейс	USB Type-C	USB 3.0/2.0 Type-C	Gigabit Ethernet + PoE, M12/M8	Gigabit Ethernet + PoE, USB 3.1 Type-C
Защита	—	IP5X	IP67	—
Вес	105 г	97 г	—	560 г
Особенность	лазер Class 1, < 2,5 Вт	ASIC MX6800, IMU до 1000 Гц	−10…+50 °C, RS-485	Jetson Nano на борту
Цена на luwam.ru	99 000 ₽	99 900 ₽	99 000 ₽	99 900 ₽

Интеграция с роботом и ROS

Типовая схема ячейки бин-пикинга: камера глубины → компьютер зрения (облака точек, сегментация, оценка позы 6 DoF) → контроллер робота (планирование траектории с проверкой коллизий) → захват. Для камер Orbbec доступен открытый Orbbec SDK под Windows и Linux и официальный ROS/ROS2 wrapper — топики глубины, RGB, облака точек и IMU публикуются в стандартных форматах, что упрощает связку с MoveIt для планирования и с библиотеками обработки облаков точек. Подробно вопрос подключения мы разбирали в статье про выбор камеры глубины для ROS и робототехники.

Обязательный этап — калибровка «рука–камера» (hand-eye calibration): определение точного преобразования между системой координат камеры и фланца робота (для eye-in-hand) или базы робота (для eye-to-hand, когда камера неподвижно смотрит на бункер). Ошибка калибровки напрямую добавляется к ошибке захвата, поэтому её выполняют по калибровочной мишени и периодически контролируют повторяемость.

Перед серийным внедрением рекомендуем POC-тест: взять 50–100 реальных деталей заказчика, включая самые сложные по форме и покрытию, и прогнать цикл «съёмка — распознавание — захват» на целевой камере. Такой тест за день показывает реальный процент успешных захватов лучше любых табличных характеристик.

Какую камеру выбрать: задача → модель

Задача	Рекомендуемая модель	Почему
Мелкие детали, камера на захвате (eye-in-hand)	Gemini 215	точность < 0,5 мм на 30 см, вес 105 г, питание по USB
Универсальная ячейка, камера над бункером 0,3–1 м	Gemini 335	диапазон точности 0,3–3 м, глобальный затвор, 97 г
Цех с пылью и вибрацией, длинные кабельные трассы	Gemini 335Le	IP67, Ethernet + PoE до 100 м, задержка ≤ 40 мс
Широкий бункер, распределённая обработка, несколько камер	Femto Mega	WFOV 120°×120°, Jetson Nano на борту, синхронизация до 8 камер
Быстрая съёмка в движении платформы	Gemini 335	режим 640×400 @ 90 fps, глобальный затвор ИК-сенсоров

Частые вопросы

Как камера справляется с блестящими деталями?

Зеркальные блики — главный источник провалов в карте глубины. Помогают активная стереоскопия с мощной VCSEL-подсветкой (как у Gemini 335), съёмка с двух ракурсов с многокамерной синхронизацией и программные фильтры в Orbbec SDK. На этапе POC-теста блестящие детали проверяют в первую очередь.

Как выполняется калибровка «рука–камера»?

Калибровочная мишень с известной геометрией фиксируется на фланце робота или в рабочей зоне, робот выполняет серию движений, и по парам «поза фланца — поза мишени в камере» вычисляется матрица преобразования. Для конфигурации eye-to-hand калибровку делают один раз при монтаже, для eye-in-hand — при каждой смене инструмента.

Поддерживается ли ROS?

Да. Для Gemini 215, Gemini 335, Gemini 335Le и Femto Mega доступны Orbbec SDK и ROS/ROS2 wrapper: данные глубины, RGB, облака точек и IMU публикуются в стандартных топиках и напрямую используются в MoveIt и планировщиках траекторий.

Что лучше для бин-пикинга — стерео или ToF?

Активная стереоскопия (Gemini) обычно даёт выше плотность точек на близких дистанциях и лучше работает на мелких объектах. iToF (Femto Mega) выигрывает на широком поле зрения 120°×120°, простом сетевом подключении по PoE и возможности считать облака точек на встроенном Jetson Nano. Выбор зависит от размера бункера, деталей и архитектуры вычислений.

Нужен ли POC-тест перед покупкой?

Настоятельно рекомендуем. Табличные характеристики не отвечают на главный вопрос — процент успешных захватов именно ваших деталей. Дневной тест на реальных образцах с реальным покрытием (блеск, чёрный пластик, масло) покажет точность позы и стабильность распознавания до того, как вы потратите бюджет на интеграцию.

Вывод

Для бин-пикинга мелких объектов камеру выбирают по трём опорам: точность на рабочей дистанции 0,3–1 м, достаточная частота кадров для цикла ячейки и промышленное исполнение под условия цеха. Gemini 215 закрывает задачи с мелкими деталями на коротком плече, Gemini 335 — универсальный вариант над бункером, Gemini 335Le — промышленное исполнение с IP67 и Ethernet/PoE, а Femto Mega — широкий обзор и edge-вычисления на Jetson Nano. Все модели доступны в каталоге LUWAM с ценами от 99 000 ₽. Если сомневаетесь в выборе, начните с POC-теста на своих деталях — это самый дешёвый способ снять риски проекта.