Датчики камер ToF: современное решение для медицинской визуализации

Данная публикация в российском издании блога Azure Depth Platform написана в соавторстве с Дмитрием Волковым, соучредителем и генеральным директором Luwam, и Андреем Соколовым, соучредителем и техническим руководителем программы Azure Depth Platform.

Краткая история медицинской визуализации

Концепция медицинской визуализации родилась в 1895 году с изобретением рентгеновских лучей немецким профессором физики Вильгельмом Рентгеном. Рентген проложил путь для более совершенных методов визуализации, используемых в медицине и криминалистике, таких как КТ (компьютерная томография) и МРТ (магнитно-резонансная томография). Сегодня визуализация с помощью оптического волокна позволила медицинским специалистам заглянуть внутрь тела без серьёзных разрезов. Эти минимально инвазивные операции сохраняют ткани более целостными и сокращают процесс заживления. Сложные технологии визуализации предоставили врачам беспрецедентную возможность заглянуть внутрь тела и стали более безопасной альтернативой хирургическому исследованию.

Медицинская визуализация в современном мире

Однако за прошедшие 120 лет мало внимания уделялось ценности визуализации внешней части тела. Обычный визит к врачу включает базовые измерения роста, веса, температуры, частоты сердечных сокращений и артериального давления. При этом относительно недорогой 3D-датчик камеры времени полета может точно сканировать тело пациента, а данные можно анализировать и отслеживать изменения в динамике. 3D-визуализация на основе времени полета изначально обеспечивает конфиденциальность пациента и может работать круглосуточно в любом помещении — палате, спальне или даже ванной комнате.

Что такое датчики камер времени полета (ToF)?

Датчики камер времени полета (ToF) измеряют расстояние между датчиком камеры и объектом, который попадает в поле зрения. Конкретно, камеры ToF определяют расстояние по времени, которое проходит между излучением сигнала датчиком и возвращением отражённого сигнала обратно к датчику.

Технология 3D-камер на основе времени полета (ToF) — это проверенная «рабочая лошадка», которая уникальным образом объединяет всестороннее качественное исследование, быстрое профилирование и высокоточную количественную обработку данных. Она обеспечивает высокую производительность и универсальность для самых разных приложений и разработок, помогая решать даже самые сложные задачи. Возможность получать количественные данные помогает удовлетворить растущую клиническую потребность в объективных измерениях для принятия решений и оценки результатов, а также способствует персонализированной медицине экономически эффективным способом. Датчики ToF демонстрируют высокую точность и могут использоваться для измерения даже сильно изогнутых поверхностей тела.

Практическое применение датчиков камер ToF в медицинской сфере

Технология глубины на основе времени полета (ToF) значительно развилась за последние два десятилетия. Сегодня она применяется для измерения телосложения, определения положения и позы, оценки осанки, анализа движений, отслеживания суставов и бесконтактного управления. Вот некоторые из самых передовых применений технологии ToF:

Обнаружение падений

По данным CDC, ежегодно около 36 миллионов пожилых людей в США падают, и каждое пятое падение приводит к травме — перелому или сотрясению мозга. Когда пожилой человек, живущий один, падает, он может долгое время оставаться на полу без помощи. Эффективная и доступная система оценки риска падений, отслеживающая походку и равновесие, способна существенно помочь пожилым людям. Непрерывное обнаружение падений (особенно если система может действовать проактивно и предотвращать падение) улучшает качество жизни пожилых, даёт им больше автономии, снижает расходы на стационарный мониторинг и успокаивает близких.

Решения на базе 3D-камер ToF обнаруживают необычные движения в помещении и проактивно предупреждают пациента и ухаживающего персонал ещё до падения или до того, как понадобится помощь. Оценка походки и движений позволяет определить, находится ли пациент в группе риска, и спрогнозировать, насколько он сможет справляться с повседневными делами после выписки из больницы. Согласно исследованиям, камеры глубины фиксируют в 2,6 раза больше падений, чем традиционный персонал, а мгновенные уведомления позволяют спасать всё больше жизней своевременно.

Мониторинг сна

Датчики ToF используют инфракрасные лазеры и поэтому способны формировать 3D-изображения глубины даже в полной темноте. Их можно применять для мониторинга сна, не прикрепляя никаких устройств к телу пациента и не требуя госпитализации, которая нарушает привычные паттерны сна.

Сканирование тела и мониторинг положения

Данные с камер ToF можно обрабатывать так, чтобы отделять человека или объект от фона, определяя положение ключевых маркеров — коленных, локтевых и тазобедренных суставов. После определения и идентификации искусственный интеллект сопоставляет их с эталонной скелетной моделью и в реальном времени определяет положение человека. Такие решения работают в привычной и конфиденциальной домашней среде, облегчают восстановление после операций и травм, помогают пациентам быстрее вернуть подвижность и когнитивные функции.

Отслеживание восстановления

Система отслеживает процесс реабилитации и предоставляет ценную информацию для корректировки и персонализации программ терапии, что ускоряет выздоровление. Долгосрочные данные позволяют непрерывно мониторить состояние пациента и прогнозировать изменения. Удалённый мониторинг с помощью машинного обучения и физиотерапевтов оказывается эффективнее стационарного наблюдения.

Как работают датчики камер ToF

Для получения высококачественной карты глубины из зашумлённых ИК-изображений применяется комплексный алгоритм вычисления фазы. Он включает декодирование, многоступенчатую фильтрацию для подавления шума ИК-изображения, расчёт фазы, коррекцию фазы между изображениями высокой и низкой частоты, фазовое развёртывание и фильтрацию карты фазы (см. рис. 1).

Таблица 1. Блок-схема алгоритма вычисления фазы (Phase Computing Algorithm Flowchart)

№	Блок / Этап	Входные данные	Выход / Действие	Примечание
1	Start	—	Запуск процесса	Начало обработки
2	High Freq IR Image	ИК-изображение высокой частоты	Передача на фильтрацию	Параллельный поток
3	Low Freq IR Image	ИК-изображение низкой частоты	Передача на фильтрацию	Параллельный поток
4	Image filter	ИК-изображение (High / Low)	Отфильтрованное изображение	Удаление шума на этапе изображения
5	Phase calculation	Отфильтрованное изображение	Вычисленная фаза	Расчёт фазы для каждого потока
6	Phase correction	Вычисленная фаза + Calibration Data	Скорректированная фаза	Коррекция с использованием данных калибровки
7	Noise filter	Скорректированная фаза	Фильтрованная фаза	Удаление шума после коррекции
8	Calibration Data (центральный блок)	—	Phase offset, Sensor_temperature_coeff, Wiggling_LUT, fppn_LUT	Используется обоими потоками для коррекции фазы
9	Intensity & Amplitude	High + Low Freq	Интенсивность и амплитуда сигнала	Промежуточный расчёт
10	Phase Unwrapping	Скорректированная фаза (High + Low)	Развёрнутая фаза	Объединение двух частотных потоков
11	Phase to Depth	Развёрнутая фаза + Frequency	Карта глубины	Преобразование фазы в значение глубины
12	Lens Distribution Correction	Карта глубины + IR Lens Calib Data	Скорректированная карта глубины	Коррекция искажений объектива
13	Noise filter (финальный)	Скорректированная карта глубины	Финальная карта глубины	Дополнительное подавление шума
14	End	Финальная карта глубины	Готовая карта глубины	Выход алгоритма

Традиционно алгоритм вычисления фазы, показанный на рис. 2, выполнялся на мощном графическом процессоре (GPU) в дорогом специализированном ПК. Orbbec и Microsoft сотрудничают над оптимизацией этих сложных операций с использованием новейших встроенных вычислительных технологий отрасли. По сравнению с вычислениями на базе ПК, встроенные решения позволяют Orbbec создавать полностью автономную камеру без зависимости от внешних устройств. Такое самодостаточное решение делает камеры простыми в развёртывании (не требуются специальные навыки), позволяет удалённую настройку и управление, а также обеспечивает низкую задержку, быстрый отклик и низкую стоимость — что особенно важно для робототехники и систем машинного зрения.

Таблица 2. Архитектура типичной системы камеры ToF и описание работы

Раздел	Компонент / Аспект	Описание	Интерфейс / Связь
Аппаратная архитектура	ToF Sensor (Sensor Head Board)	Датчик ToF, включает VCSEL и драйвер	SPI, I2C, LVDS
Аппаратная архитектура	ToF Depth Engine (Depth Computing Board)	Движок вычисления глубины	MIPI, I2C, DDR4
Аппаратная архитектура	Bridge Chip	Мостовой чип для связи с ПК	USB 3.0
Аппаратная архитектура	PC (Windows / Linux / Android)	Компьютер или устройство для финальной обработки	USB 3.0
Традиционный подход	Вычисления на GPU	Алгоритм фазового вычисления выполнялся на мощном GPU в дорогом специализированном ПК	—
Современное решение (Orbbec + Microsoft)	Embedded computing	Orbbec и Microsoft совместно оптимизируют алгоритм под новейшие встроенные вычислительные технологии	Полностью автономная камера без внешних устройств
Преимущества решения	Самодостаточная система	Камера работает без подключения к мощному ПК	Низкая задержка, быстрый отклик, низкая стоимость
Применение	Робототехника и машинное зрение	Удобство развёртывания, удалённая настройка и управление	Не требует специальных навыков для установки

Улучшите уход за пациентами с помощью передовых датчиков камер ToF от Luwam

LUWAM поставляет камеры Orbbec — ведущего мирового производителя 3D-камер, — стремится создавать интеллектуальные технологии для каждого человека, везде. Orbbec, сотрудничая с Microsoft, поставляет серию камер времени полета (ToF) с передовыми встроенными вычислениями, ускоряя их доступность для разработчиков и поставщиков решений по всему миру.

Luwam имеет обширный опыт партнёрства с компаниями медицинской сферы и помогает достигать желаемых результатов проектов, создавая положительное влияние на пациентов и ухаживающий персонал.

Обратитесь к экспертам Luwam по 3D-визуализации за поддержкой в выборе идеального продукта 3D-визуализации, наиболее подходящего для ваших медицинских задач.

LUWAM поставляет камеры Orbbec в России. Свяжитесь с нами, чтобы получить консультацию и подобрать оптимальное решение на базе ToF-камер для вашего медицинского учреждения.