Обзор и классификация современных методов дистанционной фотоплетизмографии лица
DOI:
https://doi.org/10.22213/2410-9304-2021-2-129-138Ключевые слова:
фотоплетизмография, бесконтактная фотоплетизмография, дистанционная фотоплетизмография, измерение пульса, измерение частоты сердечных сокращенийАннотация
Дистанционная фотоплетизмография позволяет измерять частоту сердечных сокращений бесконтактным способом. Подобный способ особенно полезен, когда невозможно измерить пульс методами, требующими контакта с кожей. Методом дистанционной фотоплетизмографии можно измерить и насыщение крови кислородом. Рассмотрены исследования с двумя различными подходами: изменение цвета кожи лица и движение головы. Целью исследования является классификация современных методов лицевой фотоплетизмографии. В данной статье приведен обзор и классификация исследований в области дистанционной фотоплетизмографии c 2015 по 2020 год. В ходе исследования статей выявлено, что термин «дистанционная фотоплетизмография», или «remote photopletysmography» (rPPG), встречался чаще всего и поэтому был выбран основным для описания данного вида фотоплетизмографии. Источниками информации послужили самые крупные научные социальные сети и сайты. В работе приведена краткая история и основы дистанционной фотоплетизмографии. Разработан алгоритм для классификации исследований. Изученные работы представлены в удобном виде в таблице. По представленным материалам были составлены выводы. Исследователи могут использовать рассмотренные и классифицированные алгоритмы в качестве отправной точки для улучшения разработок в области дистанционной фотоплетизмографии.Библиографические ссылки
Zhang Z, Pi Z, Liu B. Troika: A general framework for heart rate monitoring using wrist-type photoplethysmographic signals during intensive physical exercise // IEEE Transactions on Biomedical Engineering, 2015, 62(2): 522-531.
Adam MTP, Krämer J, Müller MB. Auction fever! How time pressure and social competition affect bidders’ arousal and bids in retail auctions // Journal of Retailing, 2015, 91(3): 468-485.
Verkruysse W, Svaasand LO, Nelson JS. Remote plethysmographic imaging using ambient light // Optics Express, 2008, 16(26): 21434-21445.
McDuff DJ, Estepp JR, Piasecki AM, Blackford EB. A survey of remote optical photoplethysmographic imaging methods // Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). 2015, 6398-6404.
Liu H, Wang Y, Wang L. A review of non-contact, low-cost physiological information measurement based on photoplethysmographic imaging // Annual International Conference of the IEEE Engineering in Medicine and Biology Society, EMBS. 2012, 2088-2091.
Kranjec J, Begus S, Gersak G, Drnovsek J. Non-contact heart rate and heart rate variability measurements: A review // Biomedical Signal Processing and Control, 2014, 13(1): 102-112.
Строканев К.С., Коробейников А.В., Степанов В.А. Система фотоплетизмографии по видеоизображению лица с использованием эйлерова усиления // Интеллектуальные системы в производстве. 2016. № 3. - С. 56-59 с.
Strokanev K. S., Korobeynikov A. V., Stepanov V. A. Photoplethysmography system for video of face using eulerian video magnification // Технические университеты: интеграция с европейскими и мировыми системами образования : материалы VIII Международной конференции (Россия, Ижевск, 23-24 апрель 2019 г.). Т. 1. С. 206-212.
Allen J. Photoplethysmography and its application in clinical physiological measurement // Physiological measurement, 2007, 28(3): R1-R39.
Lindberg L-G, Öberg PA. Optical properties of blood in motion // Optical Engineering, 1993, 32(2): 253-257.
Balakrishnan G, Durand F, Guttag J. Detecting pulse from head motions in video // Proceedings of the 2013 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2013, 3430-3437.
Starr I, Rawson AJ, Schroeder HA, Joseph NR. Studies on the estimation of cardiac output in man, and of abnormalities in cardiac function, from the heart’s recoil and the blood's impacts; the ballistocardiogram // American Journal of Physiology, 1939, 127(1939): 1- 28.
Feng L, Po LM, Xu X, Li Y, Ma R. Motion-resistant remote imaging photoplethysmography based on the optical properties of skin // IEEE Transactions on Circuits and Systems for Video Technology, 2015, 25(5): 879-891.
Kumar M, Veeraraghavan A, Sabharwal A. DistancePPG: Robust non-contact vital signs monitoring using a camera // Biomedical Optics Express, 2015, 6(5): 1565
Wang W, Stuijk S, De Haan G. Exploiting spatial redundancy of image sensor for motion robust rppg // IEEE Transactions on Biomedical Engineering, 2015, 62(2): 415-425
McDuff D, Gontarek S, Picard RW. Improvements in remote cardiopulmonary measurement using a five band digital camera // IEEE Transactions on Biomedical Engineering, 2015, 61(10): 2593-2601
Tran DN, Lee H, Kim C. A robust real time system for remote heart rate measurement via a camera // Proceedings of the 2015 IEEE International Conference on Multimedia and Expo (ICME). 2015, 1-6
Feng L, Po LM, Xu X, Li Y, Cheung C-H, Cheung K-W, Yuan F. Dynamic ROI based on K-means for remote photoplethysmography // Proceedings of the 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). 2015, 1310- 1314
Han B, Ivanov K, Wang L, Yan Y. Exploration of the optimal skin-camera distance for facial photoplethysmographic imaging measurement using cameras of different types // Proceedings of the 5th EAI International Conference on Wireless Mobile Communication and Healthcare. 2015, 186-189
Fernández A, Carúz JL, Usamentiaga R, Alvarez E, Casado R. Unobtrusive health monitoring system using video-based physiological information and activity measurements // Proceedings of the 2015 International Conference on Computer, Information and Telecommunication Systems (CITS). 2012, 1-5
Rouast P V, Adam MTP, Cornforth DJ, Lux E, Weinhardt C. Using contactless heart rate measurements for real-time assessment of affective states // Information Systems and Neuroscience. 2016.
Verkruysse Wim, Bartula Marek, Bresch Erik, Rocque Mukul, Meftah Mohammed, Kirenko Ihor. Calibration of Contactless Pulse Oximetry // Anesthesia and Analgesia. 2016. 124(1): 136-145. DOI: 10.1213/ ANE.0000000000001381
Purtov Konstantin, Kublanov Vladimir, Petrenko Ann, Petrenko Timur. Remote photoplethysmography application to the analysis of time-frequency changes of human heart rate variability // Proceedings of the XXth Conference of Open Innovations Association FRUCT. 2016. 664. 279-284.
Wang W., Brinker Albertus, Stuijk Sander, Haan Gerard. Color-Distortion Filtering for Remote Photoplethysmography // 12th IEEE International Conference on Automatic Face & Gesture Recognition. 2017, 71-78.
Macwan Richard, Benezeth Yannick, Mansouri Alamin, Nakamura Keisuke, Gomez Randy. Remote Photoplethysmography measurement using constrained ICA // BioMedical Engineering OnLine. 2017. 22. 430-433
Cobos-Torres Juan-Carlos, Abderrahim Mohamed, Martínez-Orgado José. Non-Contact, Simple Neonatal Monitoring by Photoplethysmography // Sensors (Basel). 18(12). 4362. doi: 10.3390/s18124362
Po Lai, Feng Litong, Li Yuming, Xu Xuyuan, Cheung Terence Chun-Ho, Cheung Kwok-Wai. Block-based adaptive ROI for remote photoplethysmography // Multimedia Tools and Applications. 2018. 77. 6503-6529. DOI: 10.1007/s11042-017-4563-7.
Macwan Richard, Benezeth Yannick, Mansouri Alamin. Remote photoplethysmography with constrained ICA using periodicity and chrominance constraints // BioMedical Engineering OnLine 2018. 17(1) DOI: 10.1186/s12938-018-0450-3.
Yannick Benezeth, S Bobbia, K Nakamura, R Gomez, J. Dubois. Probabilistic Signal Quality Metricfor Reduced Complexity Unsupervised Remote Photoplethysmography // IEEE International Symposium on Medical Information and Communication Technology (ISMICT). May 2019, Oslo, Norway, Norway DOI: 10.1109/ISMICT.2019.8744004
Lampier Lucas, Floriano Alan, Delisle Rodriguez Denis, Caldeira Eliete, Bastos-Filho Teodiano. Effect of Image Resolution on Remote Photoplethysmography: Towards Emotion Detection in Children with Autism Spectrum Disorder // 14º Simpósio Brasileiro de Automação Inteligente 2019. Ouro Preto-MG, Brazil. DOI: 10.17648/sbai-2019-111242.
Fouad R., Omer Osama, Aly Moustafa. Optimizing Remote Photoplethysmography Using Adaptive Skin Segmentation for Real-Time Heart Rate Monitoring // IEEE Access. 2019. Vol. 7. 76513 - 76528. DOI: 10.1109/ACCESS.2019.2922304.
Wu Bing-Fei, Chu Yun-Wei, Huang Powei, Chung Meng-Liang. Neural Network Based Luminance Variation Resistant Remote-Photoplethysmography for Driver’s Heart Rate Monitoring // IEEE Access. 2019. 7. 57210-57225. DOI: 10.1109/ACCESS.2019.2913664.
Laurie Jordan, Higgins Niall, Peynot Thierry, Roberts Jonathan. Dedicated Exposure Control for Remote Photoplethysmography // IEEE Access. 2020; 8. 116642 - 116652. DOI: 10.1109/ACCESS.2020. 3003548.
Ma Xiaocong, Tobon Diana, El Saddik Abdulmotaleb. Remote Photoplethysmography (rPPG) for Contactless Heart Rate Monitoring Using a Single Monochrome and Color Camera // ICSM 2019: Smart Multimedia. 2020. 248 - 262. DOI: 10.1007/978-3-030-54407-2_21.
Каляшов Е. В. Сравнительный анализ систем распознавания лиц, построенных с использованием блоков стандартных архитектур // Информационные технологии и телекоммуникации. 2020. Т. 8, № 3. С. 94-101.
Giuseppe Boccignone, Donatello Conte, Vittorio Cuculo, Alessandro d’Amelio, Giuliano Grossi, et al. An Open Framework for Remote-PPG Methods and their Assessment // IEEE Access, IEEE, 2020, 8, pp.216083-216103.
W. Wang, A. C. den Brinker, S. Stuijk, and G. de Haan. Algorithmic principles of remote ppg // IEEE Transactions on Biomedical Engineering, vol. 64, no. 7, pp. 1479-1491, 2016.
G. De Haan and V. Jeanne. Robust pulse rate from chrominance-based rppg // IEEE Transactions on Biomedical Engineering, vol. 60, no. 10, pp. 2878-2886, 2013.
M. Lewandowska, J. Rumin´ski, T. Kocejko, and J. Nowak. Measuring pulse rate with a webcam - a non-contact method for evaluating cardiac activity // 2011 Federated Conference on Computer Science and Information Systems (FedCSIS), 2011, pp. 405-410.
W. Wang, S. Stuijk, and G. De Haan. A novel algorithm for remote photoplethysmography: Spatial subspace rotation // IEEE transactions on biomedical engineering, vol. 63, no. 9, pp. 1974-1984, 2015.
