Скелетная анимация людей: Nuitrack SDK + Orbbec Femto Bolt

Azure Kinect DK снят с производства, а его Body Tracking SDK заморожен — команды, построившие фитнес-зеркала и интерактивные инсталляции на этом стеке, ищут замену. Самый короткий мост — связка Nuitrack SDK и ToF-камеры Orbbec Femto Bolt: глубинный поток того же класса, а трекинг скелета у Nuitrack кроссплатформенный и живой. Ниже — как поднять скелетную анимацию за вечер и что про неё надо знать до закупки.

Почему Nuitrack

Nuitrack — независимый SDK скелетного трекинга, работающий по глубинному кадру. Устройства Orbbec поддержаны официально на уровне DepthProvider, поэтому Femto Bolt подключается без шаманства с драйверами. Базовая версия возвращает 19 точек скелета, Nuitrack AI — 25: добавляются суставы стоп и кистей, без которых реабилитация и жестовые интерфейсы смотрятся куцо. Для прототипов есть Python-биндинг py_nuitrack, для продакшена — плагины под Unity и Unreal с готовым ретаргетом на аватара. Трекинг крутится на CPU, а на Jetson-платформах — ещё и с запасом на нейросети.

Поднимаем трекинг за вечер

Порядок такой: скачать Nuitrack SDK, активировать пробную лицензию (привязывается к устройству), убедиться, что камера видна в системе, и запустить первый скрипт. До старта полезно выставить в конфиге рабочую дистанцию трекинга — так детектор реже ловит мебель.

import numpy as np
import cv2
from py_nuitrack import Nuitrack

nuitrack = Nuitrack()
nuitrack.init()
nuitrack.run()

W, H = 640, 480
try:
    while cv2.waitKey(1) != 27:            # ESC — выход
        try:
            data = nuitrack.update()
        except Exception:
            continue                       # кадр ещё не готов

        canvas = np.zeros((H, W, 3), np.uint8)
        for skeleton in data.skeletons:    # все люди в кадре
            for joint in skeleton:         # 19 точек (25 с Nuitrack AI)
                x = int(joint.real * W)    # координаты нормированы 0..1
                y = int(joint.imag * H)
                cv2.circle(canvas, (x, y), 4, (0, 255, 0), -1)
        cv2.imshow("Nuitrack skeleton", canvas)
finally:
    nuitrack.destroy()

Скелет возвращается в нормализованных координатах: real — X, imag — Y, значения от 0 до 1. Для продакшена добавьте сглаживание точек (одна-две экспоненты) — сырой скелет заметно дрожит на границах сегментации.

Сценарии, которые окупают камеру

Фитнес-зеркала и телереабилитация: из 19–25 точек напрямую считаются углы в коленях, тазобедренных и плечевых суставах, счёт повторений и амплитуда — готовая логика тренера. Жестовые интерфейсы: киоски, музеи, стерильные зоны, где касаться экрана нельзя. Ретаргет на аватара в Unity или Unreal — виртуальный ведущий повторяет движения оператора. И аналитика прохожих без распознавания лиц: скелет не хранит биометрию личности, но честно считает траектории, остановки и направление взглядов относительно витрины.

Для автономных станций удобно сразу брать Persee N1: камера и Jetson-компьютер в одном корпусе, Nuitrack крутится прямо на устройстве, а наружу отдаётся только готовый скелет.

Лицензии Nuitrack

Триальная лицензия бесплатна и достаточна для прототипа. Коммерческая покупается на рабочую станцию, AI-версия с 25 точками — отдельной опцией; лицензию можно переносить между устройствами (пул активаций ограничен). Считайте по числу одновременно работающих установок: демонстрационный стенд и зал с восемью зеркалами — это разные бюджеты.

Частые вопросы

Сколько человек держит трекер?

Несколько скелетов в кадре одновременно, но при пересечениях и плотных группах точность проседает. Для фитнес-формата держите дистанцию 2–3 метра до камеры и одного человека в рабочей зоне.

Нужна ли цветная камера?

Нет, трекинг работает только по глубине. Цвет нужен, если делаете демо-оверлей или склеиваете скелет с изображением оператора.

Чем это не Azure Kinect Body Tracking?

Железо другое, но класс задачи тот же, а экосистема живая: SDK развивается, Orbbec не собирается с рынка, и лицензии не привязаны к снятому с производства датчику.

Камеры для проекта

Femto Bolt — основная камера для скелетного трекинга, Persee N1 — автономная станция «камера плюс Jetson» для инсталляций. Каталог Orbbec — счёт для юрлица, консультация по SDK, гарантия.