Жестовое управление без касаний на камере Orbbec

Интерфейсы без касаний перестали быть футурологией: хирург смотрит снимки в операционной, не снимая перчаток; инсталляция в музее реагирует на проходящего посетителя; терминал в пищевом цехе управляется рукой в перчатке, потому что тачскрин в такой зоне — источник заражения и вечная головная боль с дезинфекцией. Производители интерактивных экранов, инсталляций и специализированных терминалов упираются в надёжность распознавания: обычная 2D-камера с нейросетью жестов работает до тех пор, пока свет ровный, рука на пёстром фоне не сливается с ним, а человек не отвернулся. Стоит сменить условия — и система «машет» сама с собой. Камера глубины Orbbec Femto Bolt строит управление на другой основе: геометрии тела и рук в трёх измерениях, устойчивой к свету, фону и позе пользователя.

Как камера глубины решает задачу

iToF-камера измеряет сцену собственным ИК-импульсом с дальностью 0,1–5,5 м: рука перед терминалом — это облако точек с точной формой и расстоянием, а не плоская картинка. На этой геометрии держатся все уровни бесконтактного интерфейса. Базовый — присутствие и позиция: система видит человека на подходе, определяет, к какой зоне он обращён, и готовит интерфейс заранее. Средний — жесты и позы: мах для листания, точка для выбора, «ладонь на удержание» — всё это траектории и конфигурации в трёхмерных координатах, которые не путаются с рисунком одежды за спиной пользователя. Верхний уровень — скелетный трекинг через Nuitrack: полный скелет открывает жесты всего тела для инсталляций и игр, где рука — лишь один из инструментов.

Главное отличие от 2D-систем — независимость от света и фона. ToF-измерение не смотрит на цвета: чёрная рука на чёрной стене, полумрак ночного клуба, контровой свет из окна — карта глубины во всех этих условиях одинакова плотная. Для продуктов это означает предсказуемость: интерфейс, отлаженный в офисе разработчика, работает в зале, цехе и на улице в вечернее время без перенастройки под каждую локацию. Предсказуемость — валюта, которой не хватает 2D-жестовым системам: у них каждая новая площадка — новый раунд ловли света и фона.

Третий аргумент — 4K RGB-камера в том же корпусе. Геометрия управляет, а цветная картинка отвечает за контекст: терминал видит не только жест, но и документ в руке; инсталляция накладывает графику на реального человека с корректной окклюзией; система записи фиксирует происходящее в привычном видео. Два потока синхронны и откалиброваны относительно друг друга — вам не нужно сводить отдельную камеру и датчик вручную.

Отдельная группа сценариев, где бесконтактность — не удобство, а регламент: медицина, пищевое производство, чистые зоны. В операционной и перевязочной хирург листает снимки, не нарушая стерильности; на пищевом линии терминал без тачскрина не собирает плёнку из жира и остатков продукта и не требует ежечасной дезинфекции; в лаборатории сотрудник в двойных перчатках наконец управляет документацией без отлучения к клавиатуре. Здесь камера глубины закрывает и гигиеническую, и эргономическую задачу сразу: корпус монтируется за защитным стеклом как любой другой промышленный сенсор, а интерфейс живёт в воздухе перед экраном. Для производителей такого оборудования бесконтактное управление становится характеристикой изделия, за которую заказчик готов платить, — при условии, что оно не сбоит, и вот здесь геометрия решает.

Какую камеру взять

Выбор зависит от дистанции взаимодействия и автономности изделия. Основной сценарий — терминал и инсталляция в помещении, где пользователь находится в пределах пары метров, — закрывается iToF-платформой; для ближних сценических зон и встраивания в корпус полезны альтернативы на платформе Astra и автономные модули Persee.

Вариант	Технология	Почему	Цена
Femto Bolt	iToF, 4K RGB, 0,1–5,5 м	основной выбор: скелет через Nuitrack, работа при любом свете, синхронизация до 8 камер для больших инсталляций	99 900 ₽
Astra 2	структурированный свет + IMU	ближние зоны до пары метров: структурированный свет точен вблизи, лёгкая интеграция в настольные и настенные терминалы	99 900 ₽
Persee 2	камера и компьютер в одном корпусе	автономные инсталляции и терминалы без ПК: трекинг и логика на борту, наружу — события и графика	99 000 ₽

Femto Bolt — платформа по умолчанию для бесконтактного управления в помещении: она объединяет глубокую геометрию, полный скелет через Nuitrack и 4K-видео в одном устройстве с USB-C. Синхронизация до восьми камер закрывает большие инсталляции: длинная интерактивная стена или многоугольная зона покрывается несколькими модулями без взаимных помех вспышек, и каждая камера ведёт свою зону в общей системе координат зала.

Astra 2 выигрывает, когда сцена сжата до настольной дистанции и важна точность на ближних метрах: структурированный свет плотно работает вблизи, а полноразмерный корпус удобен для прототипной стойки. Persee 2 нужен там, где изделие должно жить без внешнего компьютера — музейная инсталляция, медицинский терминал, интерактивная стойка в офисе: трекинг и логика считаются в корпусе модуля, инсталлятор подключает только питание и выход на экран.

Технические особенности сегмента

Свет и зоны установки

iToF работает на собственной подсветке, поэтому смена освещения — от витринного дня до ночного клуба — не меняет качество трекинга: это главный сценарный аргумент перед 2D-камерами. Ограничения известны и управляемы: прямой солнечный свет в объектив и большие зеркальные плоскости в кадре дают зоны неуверенных измерений; на терминалах это решается козырьком и ракурсом, в инсталляциях — расстановкой камер так, чтобы стекло и зеркала не попадали в поле зрения. Отражённые от пола блики витрин отсекаются фильтрами по дистанции — обработка уверенно отделяет пользователя от «фантомов» отражений.

Дистанции и эргономика жестов

Дальность 0,1–5,5 м точно соответствует эргономике бесконтактных интерфейсов: терминальные жесты живут на 0,3–1 м, сценические — на 2–4 м. Это задаёт и размеры зон: у терминала камера монтируется над или под экраном с полем зрения на руки и корпус пользователя; в зале — на высоте 2–2,5 м с наклоном на зону взаимодействия. Широкое поле зрения Femto Bolt покрывает пользователя целиком даже на близкой дистанции — скелет не «срезается» по краям, когда человек подходит вплотную. Для длинных интерактивных стен несколько камер синхронизируются штатно, и стыки зон проектируются по геометрии покрытия, а не подбираются на месте. Эргономические пороги — высота зоны жестов, глубина зоны активации, время удержания — настраиваются в приложении и проверяются на стенде с пользователями разного роста: это час работы на демо-стенде против месяцев спорных решений в поле.

Софт и уровни интерфейса

Стек стандартный: Orbbec SDK v2 отдаёт потоки глубины и RGB, Nuitrack строит скелетную модель, ваше приложение поверх координат суставов описывает жесты как траектории и позы. Такой порядок даёт воспроизводимую логику: жест определяется геометрически, и его распознавание не плывёт от смены пользователя, одежды или света. Для инсталляций типовой каркас — демоны трекинга на Persee или ПК, события в движок графики (Unity, TouchDesigner, custom WebGL) по локальному протоколу; для терминалов — SDK-поток прямо в приложение. ROS 2 поддерживается — исследовательские прототипы собираются без драйверной работы.

Частые вопросы

Не устанет ли пользователь от «воздушных» жестов?

Правильно спроектированный интерфейс без касаний не требует держать руку навесу: триггеры ставятся на короткие движения — мах, точка, пауза в позе, — а основное состояние «просто стою» ничего не требует от мышц. Глубина здесь помогает эргономии: зоны жестов проецируются на реальные координаты тела, и пороги срабатывания настраиваются в сантиметрах. Проблема усталости — болезнь систем, где рука обязана постоянно находиться в узкой зоне; в геометрическом интерфейсе эта зона видна и проектируется честно. Отдельная рекомендация — дублировать критичные действия: выбор подтверждается паузой, а не одним махом, — случайные проходящие не активируют то, что должно срабатывать от сознательного жеста.

Как система отличает жест пользователя от случайных движений фона?

По глубине и трекингу: у пользователя есть целостный скелет и позиция, у прохожего в глубине сцены — своя траектория. Трекинг удерживает идентичность фигур во времени, поэтому жест «привязан» к конкретному человеку, а мимо идущие люди не листают интерфейс. Дополнительно зоны взаимодействия ограничиваются геометрически: рабочая область — перед экраном на дистанции до метра, и события из-за её пределов игнорируются системой, а не дорабатываются эвристиками. Для залов с плотным трафиком добавьте порог входа: интерфейс «закрепляется» за пользователем, который остановился в зоне, и освобождается через несколько секунд после его ухода — простое правило, которое снимает большинство конфликтов очереди и прохода.

Подойдёт ли решение для уличных терминалов?

Для навесов и тамбуров, где нет прямого солнца в объектив, — да: полумрак, фонари и вечерний свет iToF не страшны. Открытая солнечная локация — предельный случай: прямое солнце в кадр остаётся ограничением технологии, и его стоит проверить на вашем фактическом месте установки, лучше всего на пилотном стенде. Мы обычно предлагаем отработать именно ваш сценарий размещения — это быстрее и честнее, чем читать спецификации.

Соберём бесконтактный интерфейс на Orbbec: Каталог Orbbec на LUWAM — прототипирование на нашем демо-стенде, счёт для юрлица, гарантия 1 год. Карточки моделей: Femto Bolt и Astra 2.