egor

Стереокамеры Gemini видят склад объёмом: люди, стеллажи, тёмные проходы. Как выбрать камеру глубины для AMR — 335L, 435Le или 335Le.

Одноплоскостной лидар не видит провода, носки и порожки. Как компактные камеры глубины Orbbec Astra учат бытовой робот-пылесос видеть сцену объёмом.

Четыре камеры Orbbec на одном ПК не падают, если планировали полосу заранее: разбор USB-топологии через lsusb, привязка камер к контроллерам по серийникам, бюджет трафика по профилям и когда лучше разнести камеры по хостам или взять Persee 2.

Собираем встраиваемый CV-узел: компактная камера глубины Astra Mini на Raspberry Pi. Установка pyorbbecsdk на ARM, питание и USB-тонкости, снижение нагрузки кадром и частотой, связка YOLOv8n с глубиной и expectations по FPS.

Транслируем карту глубины Femto Bolt в Unreal Engine: Python-сайдкар забирает depth через pyorbbecsdk и шлёт по UDP, C++-актор в UE принимает кадры и обновляет UTexture2D в реальном времени. Готовый код обеих сторон.

Принимаем PointCloud2 от Gemini 335L в ROS 2 и обрабатываем в PCL: voxel grid и passthrough, выделение плоскостей через RANSAC, вычисление нормалей. Готовый C++-узел, подбор параметров и типовые грабли NaN и QoS.

Детектируем объекты YOLOv8 по RGB и берём расстояние до каждого из depth-канала Orbbec: выравнивание глубины на цвет, устойчивая оценка по bbox через перцентили, отрисовка в OpenCV. Скрипт целиком и разбор ошибок.

Собираем датасет RGB+depth с промышленной камеры Gemini 435Le: запись в MCAP через ros2 bag, выбор QoS, оценка объёмов потока, программная запись через rosbag2_py и аккуратный реплей для обучения моделей.

Две камеры Orbbec смотрят на одну сцену с разных ракурсов: снимаем слепые зоны и блики. Внешняя калибровка по шахматной мишени, трансформация облаков в общий базис на NumPy, даунсемплинг и слияние в Open3D.