Элементы образовательной технологии 4.0 на примере дополненной реальности с использованием аватара антропоморфного стоматологического робота-симулятора

A A Baidarov; R A Kokoulin; S A Storozhev; A A Yuzhakov; S D Arutyunov; N B Astashina

doi:10.22213/2413-1172-2024-4-79-89

Authors

A. A. Baidarov Perm National Research Polytechnic University
R. A. Kokoulin Perm National Research Polytechnic University
S. A. Storozhev Perm National Research Polytechnic University
A. A. Yuzhakov Perm National Research Polytechnic University
S. D. Arutyunov The Russian University of Medicine
N. B. Astashina Perm State Medical University named after Academician E. A. Wagner

DOI:

https://doi.org/10.22213/2413-1172-2024-4-79-89

Keywords:

KUKA Robot, augmented reality, Robo-C, anthropomorphic simulator, educational technology 4.0

Abstract

This paper presents an innovative solution for dental education within the framework of Industry 4.0: an anthropomorphic dental simulator combining the advantages of robotics, virtual reality (VR), and augmented reality (AR). The integration of a six-axis KUKA robotic arm with the Unity virtual environment provides a high degree of realism in simulating dental procedures. The use of neural networks allows for objective assessment of student performance by analyzing video streams from cameras inside the simulators oral cavity. The research aims to build educational environment elements based on Industry 4.0 technology, utilizing gamification and avatars. The novelty of this research lies in the unique combination of an industrial robot, VR/AR technologies, and artificial intelligence to create a personalized and interactive learning environment. The development methodology involved creating a virtual jaw model, programming the robot for precise movements, and training neural networks on a large dataset. Results demonstrated that the developed simulator significantly improves learning efficiency, reduces student adaptation time, and allows for objective assessment of their skills. Future development includes integration with other medical simulators, the creation of adaptive learning programs, and the application of artificial intelligence for deeper analysis of learning data. The examples presented in this paper confirm the effectiveness of the proposed approach and open new perspectives in the development of innovative training simulators for dentistry. The anthropomorphic dental simulator presented allows for the application of augmented reality in remote dental education and the simulation of various diseases, significantly improving the practical training of both instructors and students for working with patients.

Author Biographies

A. A. Baidarov, Perm National Research Polytechnic University

PhD in Engineering

R. A. Kokoulin, Perm National Research Polytechnic University

лаборант кафедры АТ

S. A. Storozhev, Perm National Research Polytechnic University

PhD in Engineering

A. A. Yuzhakov, Perm National Research Polytechnic University

DSc in Engineering, Professor

S. D. Arutyunov, The Russian University of Medicine

DSc in Medicine, Professor

N. B. Astashina, Perm State Medical University named after Academician E. A. Wagner

DSc in Medicine, Professor

References

István T., Erdei R., Krakó N., Dávid Péter and Husi G. (2022) 3D CAD design of KUKA robot arm & integration into AR environment to educational purposes: 2022 IEEE 20th International Power Electronics and Motion Control Conference (PEMC). Brasov: Romania, 2022, pp. 590-596. DOI: 10.1109/PEMC51159.2022.9962864

Sunitha G. (2024) Python for Geospatial Data Analysis. Ethics, Machine Learning and Python in Geospatial Analysis, IGI Global, 2024, pp. 94-119.

Yakovlev S., Kartashov O., Mumrienko A. (2022) Formalization and solution of the maximum area coverage problem using library Shapely for territory monitoring. Radioelectronic and Computer Systems, 2022, no. 2, pp. 35-48.

Анализ информационного и математического обеспечения для распознавания аффективных состояний человека / А. А. Двойникова, М. В. Маркитантов, Е. В. Рюмина [и др.] // Информатика и автоматизация. 2022. Т. 21, № 6. С. 1097-1144. DOI: 10.15622/ia.21.6.2.

Кокоулин, А. Н. Двухступенная схема обнаружения объектов в подсистеме машинного зрения сервисных роботов / А. Н. Кокоулин, А. А. Южаков // Вестник Пермского национального исследовательского политехнического университета. Электротехника, информационные технологии, системы управления. 2024. № 49. С. 176-199. DOI: 10.15593/2224-9397/2024.1.09

Blankemeyer Sebastian, Wiemann Rolf, Posniak Lukas, Pregizer Christoph, Raatz Annika (2018) Intuitive Robot Programming Using Augmented Reality: Proc. CIRP, 76, 155-160. DOI: 10.1016/j.procir.2018.02.028

Винник Е. А. Внедрение и программирование промышленного сварочного робота KUKA в учебный процесс СПО // Актуальные исследования. 2023. № 39 (169). Ч.II.С. 46-48 [Электронный ресурс]. URL: https://apni.ru/article/7074-vnedrenie-i-programmirovanie-promishlennogo (дата обращения: 06.09.2024).

Mehrez R., Affes E., Kadri I., Bouslimani Y., Ghribi M., Addouri A. (2020) Location and Vision Techniques to Control a KUKA KR6 R900 Sixx Robot Arm, 2020: 1st International Conference on Communications, Control Systems and Signal Processing (CCSSP), El Oued, Algeria, 2020, pp. 311-316. DOI: 10.1109/CCSSP49278.2020.9151573

Kokoulin A.N., Kokoulin R.A. (2022) The Hierarchical Approach for Image Processing in Objects Recognition System: Proc. of the 2022 Conference of Russian Young Researchers in Electrical and Electronic Engineering, lEC on Rus 2022, St. Petersburg, 25-28 января 2022 года. St. Petersburg, 2022, pp. 340-344. DOI: 10.1109/ElConRus54750.2022.9755654

Дьяченко Е. В. Симулированный пациент или пациент-робот в обучении врачей профессиональному общению - единство противоположностей // Виртуальные технологии в медицине. 2021. № 3 (29). С. 137-138. EDN NCZLYH.

Вронский А. С., Аверков О. С., Байдаров А. А. Роботы диагносты - новый взгляд на профилактику и профилактические осмотры // Виртуальные технологии в медицине. 2020. № 4(26). С. 27-29. EDN AHWTZC.

Гасумова С. Е., Портер Л. Роботизация социальной сферы // Социология науки и технологий. 2019. Т. 10, № 1. С. 79-94. DOI: 10.24411/2079-0910-2019-10006. EDN EWWFHX.

Мосина А. А., Соболева О. В. О возможности использования текстов-примитивов для организации диалога человек - робот // Перевод, реклама и PR в современной коммуникации. 2020. Т. 1. С. 51-57. EDN VKEEZI

Zhang X.L., Luo Z.G., Li M.J. (2014) Merge-Weighted Dynamic Time Warping for Speech Recognition. Journal Of Computer Science and Technology, 2014, vol. 29, is. 6, pp. 1072-1082. DOI: 10.1007/s11390-014-1491-0

Стоматологический антропоморфный робот. Новая эра в имитации врачебных манипуляций и клинического приема / О. О. Янушевич, А. А. Ташкинов, Н. В. Минаева [и др.] // Cathedra-Кафедра. Стоматологическое образование. 2021. № 78. С. 64-67. EDN USYKQC.

Стоматологический симулятор на базе робототехнического комплекса с интегрированной смарт-челюстью / С. Д. Арутюнов, А. А. Южаков, Я. Н. Харах [и др.] // Российский стоматологический журнал. 2023. Т. 27, № 1. С. 63-70. DOI: 10.17816/dent115139

Разработка антропоморфного стоматологического симулятора на базе робота Robo-C / А. А. Южаков, С. Д. Арутюнов, Н. Б. Асташина, А. А. Байдаров, И. И. Безукладников, С. А. Сторожев // Вестник ИжГТУ имени М. Т. Калашникова. 2023. Т. 26, № 4. С. 13-22. DOI: 10.22213/2413-1172-2023-4-13-22. EDN TGHLJC

Паскова А. А. Образование 4.0 в эпоху цифровой трансформации: перспективы и возможные пути реализации // Вестник Майкопского государственного технологического университета. 2021. Т. 13, № 4. С. 100-106. DOI: 10.47370/2078-1024-2021-13-4-100-106. EDN QPBRUA

Итинсон К. С. Робототехника как перспективная линия педагогического процесса в медицинском вузе // Азимут научных исследований: педагогика и психология. 2021. Т. 10, № 1(34). С. 135-137. DOI: 10.26140/anip-2021-1001-0033.