Fitness-скелет на Orbbec: счёт повторов и техника упражнений

Фитнес-приложения с коррекцией техники, тренажёры с обратной связью, домашние зеркала для тренировок и реабилитационные программы упёрлись в один и тот же потолок: веб-камера и 2D-распознавание позы ненадёжны. Система теряет скелет при повороте спиной, путает руки и ноги в сложных положениях, разваливается в полумраке и при контровом свете из окна — а ведь именно в таких условиях люди занимаются дома и в залах. Разработчики фитнес-сервисов и производители оборудования знают следствие: счёт повторов врёт, оценка техники выглядит случайной, и пользователь перестаёт доверять приложению. Камера глубины Orbbec Femto Bolt со скелетной трассировкой Nuitrack решает задачу на другом уровне: тело видно в трёх измерениях, без маркеров, без специальной одежды и при выключенном свете.

Как камера глубины решает задачу

Femto Bolt — времяпролётная камера (iToF): ИК-вспышка измеряет расстояние до каждой точки сцены с дальностью 0,1–5,5 м, синхронно снимая 4K RGB-кадр. Для фитнеса важны три свойства. Первое: скелет строится по объёму, а не по пикселям — положения суставов считаются в трёхмерных координатах, поэтому наклон корпуса, глубина приседа и амплитуда руки измеряются в сантиметрах, а не оцениваются по проекции. Второе: iToF не зависит от освещения — вечерняя тренировка при одной настольной лампе снимается так же достоверно, как дневная. Третье: камера видит тело целиком и различает переднюю и заднюю стороны тела в объёме — скелет не «перепутывает» конечности в сложных позах, где 2D-системы уходят в визуальные ловушки.

На этой геометрии строится счёт повторов. Счётчик следит за траекторией ключевого сустава — таза при приседе, локтя при жиме, колена при выпаде — и регистрирует полный цикл по фактической амплитуде: неполный повтор либо не засчитывается, либо помечается как неполный с указанием, до какой глубины не дотянули. Оценка техники ведётся по тем же координатам: колено заходит за носок, спина округляется, таз перекошен — приложение показывает конкретное отклонение в конкретной фазе движения. Для реабилитационных сценариев это становится дневником восстановления: та же камера, те же метрики, объективная динамика по неделям.

Связка с Nuitrack закрывает слой трекинга: SDK отдаёт скелетную модель в реальном времени, и разработчику остаётся бизнес-логика — правила подсчёта, пороги техники, игровые механики. Подробный разбор того, как Femto Bolt работает со скелетом Nuitrack, с настройками и живыми замерами мы публиковали отдельно: Nuitrack и Femto Bolt: скелетный трекинг на практике. Для зала, где занимаются несколько человек, камера держит сцены с несколькими скелетами одновременно — тренажёрная зона покрывается одним модулем вместо камеры на каждого клиента.

Скелет как интерфейс открывает и геймификацию — слой, который удерживает пользователя в приложении лучше любых напоминаний. Счёт повторов превращается в прогресс, амплитуда приседа — в шкалу качества, серия тренировок — в соревнование семьи или коллег; всё это считается из тех же координат суставов без дополнительных сенсоров на теле. Для реабилитационных продуктов игровой слой имеет прямой медицинский смысл: упражнение, выполняемое «ради шкалы», выполняется аккуратнее, а приложение честно фиксирует фактическую амплитуду, а не сам факт нажатия кнопки «сделал». Такой дизайн требует надёжного трекинга — иначе шкала врёт, — и надёжность начинается с сенсора.

Какую камеру взять

Выбор зависит от того, где живут вычисления. Фитнес-приложение для домашнего рынка, зеркала и тренажёры со встроенной электроникой требуют разных конфигураций — от чистой камеры, подключённой к компьютеру пользователя, до автономного модуля «камера плюс компьютер» в одном корпусе.

Вариант	Технология	Почему	Цена
Femto Bolt	iToF, 4K RGB, 0,1–5,5 м	основной вариант: скелет через Nuitrack, работа в темноте, синхронизация до 8 камер для залов с несколькими ракурсами	99 900 ₽
Persee 2	камера и компьютер в одном корпусе	автономные тренажёры и зеркала: трекинг и логика считаются на борту, наружу — только метрики и события	99 000 ₽
Persee N1	камера и компьютер на NVIDIA Jetson Nano	встраиваемые решения с нейросетевой обработкой на борту: компактный автономный модуль под корпус оборудования	99 000 ₽

Femto Bolt — эталон платформы: на прототипе вы получаете максимальное качество потоков и свободу вычислений на ПК пользователя, а серийная интеграция начинается с той же камеры. До восьми модулей работают в синхронизации — для студии с несколькими зонами или тренажёра, требующего фронтального и бокового ракурса одновременно, это закрывает сцену без взаимных помех вспышек. RGB-камера 4K идёт в комплекте к геометрии: видео тренера и клиента, «до и после», ведётся тем же устройством.

Persee 2 и Persee N1 — исполнение для автономных устройств. Умное зеркало, силовая рама или кардиотренажёр с обратной связью не обязаны нести в себе ПК: модуль Persee уже содержит камеру и компьютер, трекинг скелета и логика приложения крутятся на борту, в приложение тренажёра уходят готовые метрики. Для встраивания в корпус оборудования это меньше кабелей, один блок питания и согласованный тепловой режим — инженеры Orbbec уже свели сенсор и вычислитель в одном корпусе. Выбор между ними делается по вычислительной нагрузке: Persee 2 подходит, когда скелетный трекинг и логика приложения — основная работа борта, Persee N1 — когда вы планируете собственные нейросетевые модели поверх потока камеры и хотите получить Jetson-совместимый стек разработки.

Технические особенности сегмента

Свет и условия съёмки

iToF-сенсор измеряет время пролёта собственного ИК-импульса, поэтому тренировка в тёмной комнате или при неоновой подсветке не меняет качество скелета — это ключевое отличие от 2D-распознавания позы. Ограничение тоже честное: прямой солнечный свет в кадр — общий враг всех ToF-камер, поэтому зона занятий планируется так, чтобы окно не находилось за спиной пользователя по линии камеры. Отражающие поверхности — зеркала, стеклянные стены зала — дают ложные отражённые точки: их либо исключают из поля зрения ракурсом, либо фильтруют, и на планировке зала это решается до монтажа.

Дистанции и покрытие зоны

Дальность 0,1–5,5 м точно соответствует домашней и студийной сцене: пользователь стоит в двух-трёх метрах от камеры — в самом надёжном диапазоне, где плотность измерений максимальна. Широкое поле зрения покрывает зону упражнений с запасом на выпады и махи — камера монтируется под экраном или на стене на высоте груди-глаз, без штатива посреди комнаты. Для двух ракурсов — фронт и профиль — два модуля синхронизируются штатно, и обе карты склеиваются в одну траекторию движения. Чем ближе пользователь к нижней границе дальности, тем детальнее измеряется его геометрия — для анализа мелкой техники рук это играет в плюс.

Софт и интеграция

Стек стандартный: Orbbec SDK v2 отдаёт потоки глубины и RGB, Nuitrack строит скелетную модель, приложение считает повторы и технику по координатам суставов. Для робототехнических и исследовательских команд есть поддержка ROS 2. Синхронизация до восьми камер встроена в платформу: мультиракурсная съёмка сложных движений не требует собственной электроники запуска. На автономных модулях Persee тот же стек уже развёрнут на борту — приложение получает скелет и метрики через локальный интерфейс, а обновления функциональности раскатываются как обновления ПО, без вмешательства в сенсорную часть. Отладку техники движений рекомендуем строить на записанных сериях скелетов: одна тренировка с эталонной техникой становится набором эталонных траекторий, с которыми сравниваются живые занятия — это ускоряет настройку порогов и делает её воспроизводимой между версиями продукта.

Частые вопросы

Считает ли система нескольких занимающихся одновременно?

Да, камера видит сцену целиком, и трекинг выделяет в ней несколько скелетов — для групповой тренировки это означает один модуль на зал вместо камеры на каждого участника. Сложности начинаются при взаимных перекрытиях людей: когда двое встают строго друг за друга, дальний скелет теряет точки. На планировке зоны это лечится смещением ракурса; для персональных тренировок и реабилитации ограничение не проявляется вовсе. Для сетевых залов практичный компромисс — разметка позиций на полу: каждый занимающийся в своей зоне перекрытий почти не создаёт, а камера на высоте двух метров с наклоном добавляет запас по вертикальному разделению фигур.

Чем это лучше «просто нейросети на веб-камере»?

Веб-камера получает плоскую проекцию, и любое движение «на камеру» — поворот спиной, скрещение рук, тёмный фон — обесценивает её данные. Глубина снимает сам объём: свет перестаёт быть фактором, конечности различаются в трёхмерных координатах, амплитуда меряется в сантиметрах. Нейросети при этом никто не отменяет — они прекрасно работают поверх карты глубины; разница в том, что им подают честную геометрию вместо спорной картинки.

Подойдёт ли Femto Bolt для домашнего применения у обычного пользователя?

Для продуктовых команд — да: USB-C, подключение к ПК или встроенному модулю, SDK в комплекте. Камера рассчитана на разработчиков и встраивание в устройства, а не на «распаковал и пошёл»: домашний сценарий должен поставляться как готовое изделие — зеркало, рама, тренажёр с модулем Persee на борту. Пользователь такого изделия видит только приложение; вся сенсорика спрятана в корпусе и настроена производителем.

Соберём ваш фитнес-трекинг на Femto Bolt: Каталог Orbbec на LUWAM — прототипирование на нашем демо-стенде, счёт для юрлица, гарантия 1 год. Карточки моделей: Femto Bolt и Persee 2.