Создание системы прямого взаимодействия между VR-тренажером отработки коммуникативных и практических навыков врачей-стоматологов и роборукой KUKA KR-6

А А Южаков; С Г Расторгуев; Д В Бондарев; А Н Полещук; С Д Арутюнов; А В Дешев

doi:10.22213/2413-1172-2025-4-4-11

Авторы

А. А. Южаков Пермский национальный исследовательский политехнический университет
С. Г. Расторгуев ООО «ТЕН.ЛАБ»
Д. В. Бондарев ООО «ТЕН.ЛАБ»
А. Н. Полещук ООО «ТЕН.ЛАБ»
С. Д. Арутюнов Российский университет медицины
А. В. Дешев Кабардино-Балкарский государственный университет имени Х. М. Бербекова

DOI:

https://doi.org/10.22213/2413-1172-2025-4-4-11

Ключевые слова:

VR-технологии, unity, тренажер для стоматологов, KUKA KR-6, сервер на C#, виртуальная симуляция, трекеры HTC Vive

Аннотация

В работе представлена инновационная система, которая позволяет напрямую связывать виртуальную среду, созданную с помощью игрового движка Unity, с промышленным роботом-манипулятором KUKA KR-6 на примере тренажера антропоморфного робота для студентов, обучающихся на стоматологических специальностях. Преимущество новой архитектуры заключается в том, что она исключает необходимость применения промежуточных программных решений. Команды управления и координаты передаются напрямую с контроллеров VR-шлема на реальный объект (робот + манипулятор) без привлечения сторонних драйверов и программных мостов. Для реализации взаимодействия был создан специальный сокет-сервер на языке программирования C#. Благодаря этому удалось добиться высокой точности позиционирования (погрешность составляет менее 1 мм) и минимизировать задержки при передаче данных через локальную сеть. Чтобы сделать обучение более реалистичным, система обеспечивает двусторонний обмен данными между реальным положением робота-пациента, манипулятором и виртуальным пространством. Три трекера HTC ViveTracker отслеживают координаты физического объекта (робот + манипулятор), которые затем автоматически переносятся в виртуальную сцену Unity. Таким образом, достигается полное соответствие между реальным и виртуальным пациентами. Испытания системы показали ее стабильность и возможность интеграции в уже существующую образовательную VR-платформу. Это позволит студентам отрабатывать коммуникативные и практические навыки, необходимые для выполнения стоматологических процедур. Разработанное решение открывает новые перспективы для использования виртуальной и смешанной реальности в медицинском образовании. Потенциально оно может быть адаптировано и для других сфер профессиональной подготовки.

Биографии авторов

А. А. Южаков, Пермский национальный исследовательский политехнический университет

доктор технических наук, профессор

С. Г. Расторгуев, ООО «ТЕН.ЛАБ»

-

Д. В. Бондарев, ООО «ТЕН.ЛАБ»

-

А. Н. Полещук, ООО «ТЕН.ЛАБ»

-

С. Д. Арутюнов, Российский университет медицины

доктор медицинских наук, профессор

А. В. Дешев, Кабардино-Балкарский государственный университет имени Х. М. Бербекова

-

Библиографические ссылки

Разработка антропоморфного стоматологического симулятора на базе робота Robo-C / А. А. Южаков, С. Д. Арутюнов, Н. Б. Асташина, А. А. Байдаров, И. И. Безукладников, С. А. Сторожев // Вестник ИжГТУ имени М. Т. Калашникова. 2023. Т. 26, № 4. С. 13-22. DOI: 10.22213/2413-1172-2023-4-13-22 EDN TGHLJC

Элементы образовательной технологии 4.0 на примере дополненной реальности с использованием аватара антропоморфного стоматологического робота-симулятора / А. А. Байдаров, Р. А. Кокоулин, С. А. Сторожев, А. А. Южаков, С. Д. Арутюнов, Н. Б. Асташина // Вестник ИжГТУ имени М. Т. Калашникова. 2024. Т. 27, № 4. С. 79-89. DOI: 10.22213/2413-1172-2024-4-79-89 EDN JLLMQQ

Стоматологический симулятор на базе робототехнического комплекса с интегрированной смарт-челюстью / С. Д. Арутюнов, А. А. Южаков, Я. Н. Харах, И. И. Безукладников, А. А. Байдаров, Н. Б. Асташина // Российский стоматологический журнал. 2023. Т. 27, № 1. С. 63-70. DOI: 10.17816/dent115139 EDN LMGDRW

Кокоулин А. Н., Южаков А. А. Двухступенная схема обнаружения объектов в подсистеме машинного зрения сервисных роботов // Вестник Пермского национального исследовательского политехнического университета. Электротехника, информационные технологии, системы управления. 2024. № 49. С. 176-199. DOI: 10.15593/2224-9397/2024.1.09 EDN AWCULA

Особенности использования нейронных сетей для анализа изменений свойств объектов / С. Д. Арутюнов, Н. Б. Асташина, А. А. Байдаров, И. И. Безукладников, А. Н. Кокоулин, Р. А. Кокоулин, С. А. Сторожев, А. А. Южаков // Вестник Пермского национального исследовательского политехнического университета. Электротехника, информационные технологии, системы управления. 2024. № 51. С. 201-220. DOI: 10.15593/2224-9397/2024.3.11 EDN LYKMAV

Blankemeyer S., Wiemann R., Posniak L., Pregizer Ch., Raatz A. (2018).Intuitive Robot Programming Using Augmented Reality. Procedia CIRP, 76, 155-160. DOI: 10.1016/ j.procir.2018.02.028

Liu Guoliang & Sun Wenlei & Li Pinwen (2024). Motion capture and AR based programming by demonstration for industrial robots using handheld teaching device. Scientific Reports, 14. DOI: 10.1038/s41598-024-73747-4

Yang W., Xiao Q., & Zhang Y. (2023). HAR2bot: a human-centered augmented reality robot programming method with the awareness of cognitive load. Journal of Intelligent Manufacturing. DOI: 10.1007/s10845-023-02096-2

István T., Erdei R., Krakó N., Dávid P., Husi G. (2022). 3D CAD design of KUKA robot arm & integration into AR environment to educational purposes. PEMC 2022, 590-596. DOI: 10.1109/PEMC51159.2022.9962864

Mulero-Pérez D., Zambrano-Serrano B., Ruiz Zúñiga E., Fernandez-Vega M., & Garcia-Rodriguez J. (2025). Enhancing Robotics Education Through XR Simulation: Insights from the X-RAPT Training Framework. Applied Sciences, 15, 10020. DOI: 10.3390/app151810020

Erdei T.I., Krakó R., Husi G. (2022). Design of a Digital Twin Training Centre for an Industrial Robot Arm. Applied Sciences, 12, 8862. DOI: 10.3390/app12178862

Саенко А. А., Габов В. С. Создание виртуального рабочего пространства // Информационные технологии XXI века : сборник научных трудов. Хабаровск : Тихоокеанский государственный университет, 2023. С. 168-171. EDN ZHTUHY

Разработка профориентационной VR-игры на платформе UNITY / Е. С. Сергеев, А. Е. Сухова, И. С. Максимов, Н. А. Сенаторов // Научное обозрение. Технические науки. 2021. № 2. С. 38-42. EDN NWCETA

Wang K., Ding L., Dailami F., Matthews J. (2025). A Contemporary Review of Collaborative Robotics Employed in Manufacturing Finishing Operations: Recent Progress and Future Directions. Machines, 13(9), 772. DOI: 10.3390/ machines13090772

Gerget O. (2022). Software Library for KUKA Iiwa Robot to Improve the Efficiency of Human-Robot Interaction in Robotic Medical Applications. In: Interactive Collaborative Robotics. ICR 2022: Lecture Notes in Computer Science, vol. 13719. Springer, Cham. DOI: 10.1007/978-3-031-23609-9_25

Burghardt A., Szybick, D., Gierlak P., Kurc K., Pietruś P., Cygan R. (2020). Programming of Industrial Robots Using Virtual Reality and Digital Twins. Applied Sciences, 10(2), 486. DOI: 10.3390/app10020486

Dogangun Fatih, Bahar Serdar, Yildirim Yigit, Temir Bora, Ugur Emre, Dogan Mustafa (2024). RAMPA: Robotic Augmented Reality for Machine Programming and Automation. DOI: 10.48550/arXiv.2410.13412

Merker S., Pastel S., Bürger D., Schwadtke A., Witte K. (2023). Measurement Accuracy of the HTC VIVE Tracker 3.0 Compared to Vicon System for Generating Valid Positional Feedback in Virtual Reality. Sensors, 23(17), 7371. DOI: 10.3390/s23177371

Weber Mitchell, Hartl Roman, Zäh Michael, Lee Jihyun (2023). Dynamic Pose Tracking Accuracy Improvement via Fusing HTC Vive Trackers and Inertia Measurement Units.International Journal of Precision Engineering and Manufacturing. DOI: 24.10.1007/s12541-023-00891-8

Tseng Juin-Ling, Chu Chiawei (2018).Interaction Design in Virtual Reality Game Using Arduino Sensors. DOI: 10.5772/intechopen.71016

Angra Sheena, Sharma Bhanu, Sharma Avinash (2022). Analysis of Virtual Reality and Augmented Reality SDK’s and Game Engines: A Comparison, pp. 1681-1684. DOI: 10.1109/ ICECAA55415.2022.9936111