[SDC23 Korea] 카메라 기반 원격-PPG를 활용한 스마트홈 헬스케어 서비스

세션 발표자
김대열 - 이노피아테크
세션 소개
[원격-PPG 개요]
스마트폰, 웹캠 또는 스마트홈 카메라를 통해 사용자의 얼굴을 촬영하고, 빛 반사를 분석하여 심박수, 혈압 및 산소 포화도와 같은 건강 지표를 실시간으로 추출
전국민이 사용하는 스마트폰 및 스마트 디바이스 만으로, 원격-PPG App 기반 모니터링을 통해, 웨어러블 대비 정확성 면에서 뒤지지 않으면서, 신속/간편하고 상시적으로 다중생체신호를 자가 모니터링할 수 있는 높은 사용성/접근성/확장성 제공
[원격-PPG 장점]
전국민이 사용하는 스마트폰 및 스마트 디바이스 만으로, 원격-PPG App 기반 모니터링을 통해, 웨어러블 대비 정확성 면에서 뒤지지 않으면서, 신속/간편하고 상시적으로 다중생체신호를 자가 모니터링할 수 있는 높은 사용성/접근성/확장성 제공
원격-PPG App 기반 모니터링은, 비접촉 방식에 의한 사용성의 획기적 개선,
기기 신규 구입 포함 비용/관리 부담 全無 장점
[원격-PPG 활용]
재택환경 및 일상생활환경에서 비접촉 방식으로 생체징후를 실시간으로 상시 모니터링하여,건강상태의 능동적 관리, 감염병, 만성질환 및 스트레스를 예측/예방
원격-PPG를 스마트폰, TV/STB 등 일상생활 기기에 적용, 스마트홈 헬스케어 실현
[원격-PPG 핵심기술]
스마트폰/스마트TV 탑재 원격-PPG App 만으로, Gold Standard 의료기기 대비 90% 이상 및 최고 웨어러블 제품 동일 수준의 정확도 달성. 원격-PPG 모니터링 대상 생체신호: HR, RR, SpO2, HRV, 혈압, 스트레스
On-Device DNN 기반 원격-PPG, 메타러닝 기반 개인화 및 보정, 이상상태 및 활력징후 (질환/감염병 중증도 및 치료 진전) 지표화 및 상시 모니터링
DNN 모델 학습/검증 Dataset 구축, 데이터 부족 및 편향성 극복 방안, 설명 가능성 제공
[원격-PPG 베타테스트 App]
UA-cam : • Vital sign app
Android App : apps.samsung.co...
코로나 스크리닝 문진과 생체징후 모니터링 병행
모니터링 대상 생체징후 : 심장박동, 심장 박동 변이율, 산소포화도 (SpO2), 호흡도, 스트레스, 혈압
테블릿/스마트폰/사이니지 등 다양한 Host Device 적용
[원격-PPG Benchmark Framework]
Remote Bio-Sensing : Open-source Benchmark Framework for Fair Evaluation of rPPG, arxiv.org/abs/...
원격-PPG는 카메라에 포착된 헤모글로빈의 광흡수를 이용해 혈액량 펄스(BVP)를 분석·측정. 심박수, 스트레스 수준, 혈압 등 다양한 생리적 신호를 도출할 수 있어 심혈관 질환 등 관련 분야의 조기 예측 가능. 혈압계나 맥박산소계 등 추가 기기 및 의료 전문가의 도움 없이 카메라가 장착된 기기를 이용해 측정 가능
광범위한 노력과 발전에도 불구하고, 성능의 정확도를 저하시킬 수 있는 피부색, 카메라 특성, 주변 조명 및 기타 노이즈 소스와 관련된 문제를 포함하여 극복해야 할 과제가 있음. 이러한 과제를 극복하고 정확한 BVP 신호를 복구하기 위해 공정하고 평가 가능한 벤치마킹이 시급
대부분의 작업은 일부 제한된 데이터 세트에서만 훈련, 테스트 및 검증되며, 더 나쁜 것은 대부분의 작업이 코드 가용성 및 재현성이 부족하여 제안된 알고리듬의 성능을 공정하게 평가하고 비교하기 어렵다는 것이다. 따라서 본 연구의 목적은 기존의 Non-DNN 및 DNN 방법을 모두 포함하여 공정한 평가와 비교를 위해 광범위한 데이터 세트에 걸쳐 다양한 rPPG 기술을 평가하기 위한 벤치마킹 프레임워크를 제공하는 것임
[원격-PPG 공개 SW]
오픈소스 github 운영 中 ( 관련 repository 206 中, Best Match 3번째 랭크, 2023-09-04 현재)
Github: Remote Biosensing, github.com/rem...
rPPG 를 위한 Backbone Deep Learning 알고리즘을 시험/평가하기 위한 프레임워크. 불특정한 환경에서 다양한 알고리즘을 평가하기 위한 실험 환경 제공
다양한 전처리 방법과 속도증가를 위한 기능 제공: face recognition package(dlib, media-pipe, blaze face), face mesh detection package
대표적인 모델 포함 9개 rPPG 모델 학습 기능 / PPG to ABP 3종 제공 (총 12종): DeepPhys, MTTS, DeepPhys + LSTM, PhysNet, PhysNet +LSTM, PPNET, Vitamon, EfficentPhys, APNet, LSTM AutoEncoder, BPNET, STVEN
Pytorch 기본 제공 손실함수 외 다양한 custom 손실함수 제공: Neg-Pearson Loss, FFT Loss, Phase Loss, NMI Loss 등
후처리 기능 제공: Hertpy 기반의 bpm/IBI/NN 연산 기능 제공, Power Spectrogram 기반 BPM 연산 기능 제공
목차
1. 원격-PPG 기술 및 활용
기술개요, 필요성 및 중요성 : 접촉식 vs. 비접촉식 생체신호 모니터링
디지털 헬스케어 발전/진화 방향 : 전기적 신호 → 광학적 신호, 침습 →비침습, 의료기기 → 맞춤형/전용 기기→ 일상생활에서 사용하는 스마트 기기 (모바일, TV, IoT), 접촉식 → 비접촉식
연구개발 및 시장 현황
기술적/사업적 주요 해결 필요 과제
2. 원격-PPG 핵심기술 및 데이터
원격-PPG 주요 기술: Non-DNN, DNN, Transformer 기반
인공지능 학습/검증용 데이터 플랫폼
3. 원격-PPG 오픈소스/데이터 개발/활용 방안
기존 연구개발의 한계와 문제점
원격-PPG 오픈소스/데이터 필요성, 커뮤니티 현황, 발전방향 및 계획
아키텍처, 코드 및 공유 데이터, 활용방안
4. 스마트홈 헬스케어 서비스
앱, 디바이스, 플랫폼 개발 현황, 시연
임상시험 및 의료 관점 검증 방안
ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ
Website
www.sdc-korea....
#Samsung #SDC23Korea #SamsungDeveloperConferenceKorea #Day2 #Session #Track2 #AI #ML #OpenSource

[@CatoAntonsen]

Not English...? 😢