3D-видение в робототехнике

Терминалы, инсталляции и чистые зоны: жесты по геометрии тела работают при любом свете и фоне — там, где 2D-распознавание разваливается.

У гладкого бетона БАС слепнет: GNSS отражается, оптический поток пуст. Стереокамера Gemini даёт дрону метры до конструкции и облако дефектов.

Скелетная трассировка Femto Bolt и Nuitrack: счёт повторов, оценка техники, работа в темноте — без маркеров и датчиков на теле.

Стереокамеры Gemini видят склад объёмом: люди, стеллажи, тёмные проходы. Как выбрать камеру глубины для AMR — 335L, 435Le или 335Le.

Одноплоскостной лидар не видит провода, носки и порожки. Как компактные камеры глубины Orbbec Astra учат бытовой робот-пылесос видеть сцену объёмом.

Четыре камеры Orbbec на одном ПК не падают, если планировали полосу заранее: разбор USB-топологии через lsusb, привязка камер к контроллерам по серийникам, бюджет трафика по профилям и когда лучше разнести камеры по хостам или взять Persee 2.

Собираем встраиваемый CV-узел: компактная камера глубины Astra Mini на Raspberry Pi. Установка pyorbbecsdk на ARM, питание и USB-тонкости, снижение нагрузки кадром и частотой, связка YOLOv8n с глубиной и expectations по FPS.

Транслируем карту глубины Femto Bolt в Unreal Engine: Python-сайдкар забирает depth через pyorbbecsdk и шлёт по UDP, C++-актор в UE принимает кадры и обновляет UTexture2D в реальном времени. Готовый код обеих сторон.

Принимаем PointCloud2 от Gemini 335L в ROS 2 и обрабатываем в PCL: voxel grid и passthrough, выделение плоскостей через RANSAC, вычисление нормалей. Готовый C++-узел, подбор параметров и типовые грабли NaN и QoS.

Детектируем объекты YOLOv8 по RGB и берём расстояние до каждого из depth-канала Orbbec: выравнивание глубины на цвет, устойчивая оценка по bbox через перцентили, отрисовка в OpenCV. Скрипт целиком и разбор ошибок.