Нейросетевой алгоритм обучения мобильного робота в задаче следования за целью
DOI:
https://doi.org/10.22213/2413-1172-2024-2-4-14Ключевые слова:
система управления, курсовой угол, бучение мобильного роботаАннотация
Статья посвящена исследованию, разработке и реализации искусственной нейронной сети с подкреплением для управления мобильным роботом с дифференциальным приводом для решения задачи следования за целью. Авторы исследования представляют подробное описание архитектуры нейронной сети, ее обучения с использованием алгоритма глубокого детерминированного градиента политикии интеграции с системой управления роботом. Выбрана распределенная структура нейронной сети для специализированной генерации управлений, в качестве которых авторами выбираются угловая и линейная скорость робота. Синтезирована система правил, учитывающая изменение расстояния между роботом и целевым объектом и отслеживание курсового угла в реальном времени. Рассмотрена математическая модель робота с дифференциальным приводом, на базе которой реализована программа имитационного моделирования для промежуточного обучения нейронной сети, в результате которой сформированы первоначальные весовые коэффициенты. С помощью данной программы можно обойтись меньшими энергетическими и временными затратами на начальном этапе исследования. Эксперименты по проверке эффективности разработанной нейронной сети проводились в среде симуляции Gazebo с использованием коммуникационного интерфейса ROS2. В статье описывается процесс интеграции нейронной сети с системой управления робота в среде симуляции, а также результаты испытаний и анализ полученных данных. Приведены результаты экспериментов для трех сценариев, в которых начальная позиция робота одинакова, остальные параметры генерируются по описанным авторами правилам. Подтверждена эффективность использования подобного решения для планирования траектории. Исследование вносит вклад в область развития автономных систем и демонстрирует потенциал применения искусственных нейронных сетей с подкреплением в робототехнике.Библиографические ссылки
Уиндер Ф. Обучение с подкреплением для реальных задач : пер. с англ. СПб. : БХВ-Петербург, 2023. 400 с.
Fu X. (2022) A UAV pursuit-evasion strategy based on DDPG and imitation learning.International Journal of Aerospace Engineering, 2022, vol. 2022, pp. 1-14.
Yang B. (2021) Two-stage pursuit strategy for incomplete-information impulsive space pursuit-evasion mission using reinforcement learning. Aerospace, 2021, vol. 8, no. 10, p. 299.
Chen P. (2022) A deep reinforcement learning based method for real-time path planning and dynamic obstacle avoidance. Neurocomputing, 2022, vol. 497, pp. 64-75.
Takahashi T. (2019) Learning heuristic functions for mobile robot path planning using deep neural networks: Proc. of the International Conference on Automated Planning and Scheduling, 2019, vol. 29, pp. 764-772.
Wang D. (2021) Path planning of mobile robot in dynamic environment: fuzzy artificial potential field and extensible neural network. Artificial Life and Robotics, 2021, vol. 26, pp. 129-139.
Yan C., Xiang X., Wang C. (2020) Towards real-time path planning through deep reinforcement learning for a UAV in dynamic environments. Journal of Intelligent & Robotic Systems, 2020, vol. 98, pp. 297-309.
Wen S. (2020) Path planning for active SLAM based on deep reinforcement learning under unknown environments.Intelligent Service Robotics, 2020, vol. 13, pp. 263-272.
Zhu K., Zhang T. (2021) Deep reinforcement learning based mobile robot navigation: A review. Tsinghua Science and Technology, 2021, vol. 26, no. 5, pp. 674-691.
Yu J., Su Y., Liao Y. (2020) The path planning of mobile robot by neural networks and hierarchical reinforcement learning. Frontiers in Neurorobotics, 2020, no. 14, p. 63.
Sun H. (2021) Motion planning for mobile robots - Focusing on deep reinforcement learning: A systematic review. IEEE Access, 2021, vol. 9, pp. 69061-69081.
De Jesus J. C. (2021) Soft actor-critic for navigation of mobile robots. Journal of Intelligent & Robotic Systems, 2021, vol. 102, no. 2, p. 31.
Zhao Y. (2021) Path planning for mobile robots based on TPR-DDPG: International Joint Conference on Neural Networks (IJCNN). IEEE, 2021, pp. 1-8.
Dong Y., Zou X. (2020) Mobile robot path planning based on improved DDPG reinforcement learning algorithm: IEEE 11th International Conference on software engineering and service science (ICSESS). IEEE, 2020, pp. 52-56.
Li P. (2021) Research on dynamic path planning of mobile robot based on improved DDPG algorithm. Mobile Information Systems, 2021, vol. 2021, pp. 1-10.
Алгоритм наведения управляемой ракеты класса «воздух-воздух» с активной радиолокационной головкой самонаведения на вертолет при различном характере его полета / А. В. Богданов, С. А. Горбунов, А. А. Кучин, А. А. Хадур // Журнал Сибирского федерального университета. Серия: Техника и технологии. 2020. Т. 13, № 7. С. 829-842. DOI: 10.17516/ 1999-494X-0269
Сивов А. Ю., Алешин М. Г. Алгоритм наведения луча фазированной антенной решетки на беспилотном летательном аппарате вертолетного типа // Журнал радиоэлектроники. 2020. № 4. С. 12. DOI: 10.30898/1684-1719.2020.4.5
Толстиков А. Н., Толстиков Н. Г. Сравнение алгоритмов преследования объектов // Восточно-Европейский журнал передовых технологий. 2010. Т. 2, № 9 (44). С. 29-31.
Mishra D. K. (2022) Design of mobile robot navigation controller using neuro-fuzzy logic system.Computers and Electrical Engineering, 2022, vol. 101, p. 108044.
Lin Z. (2022) Path planning of mobile robot with PSO-based APF and fuzzy-based DWA subject to moving obstacles. Transactions of the Institute of Measurement and Control, 2022, vol. 44, no. 1, pp. 121-132.
Xin J., Zhao H., Liu D., Li M. (2017) Application of deep reinforcement learning in mobile robot path planning: Proc. of the 2017 Chinese Automation Congress (CAC), pp. 7112-7116, Jinan, China, October 2017.
Sun P. and Yu Z. (2017) Tracking control for a cushion robot based on fuzzy path planning with safe angular velocity. IEEE/CAA Journal of Automatica Sinica, 2017, vol. 4, no. 4, pp. 610-619.
De Santis R., Montanari R., Vignali G., Bottani E. (2018) An adapted ant colony optimization algorithm for the minimization of the travel distance of pickers in manual warehouses. European Journal of Operational Research, 2018, vol. 267, no. 1, pp. 120-137.
Zhang C. (2018) Path planning for robot based on chaotic artificial potential field method. Technology & Engineering, 2018, vol. 317, no. 1, pp. 12-56.
Загрузки
Опубликован
Как цитировать
Выпуск
Раздел
Лицензия
Copyright (c) 2024 Иван Сергеевич Звонарев, Юрий Леонидович Караваев
![Лицензия Creative Commons](http://i.creativecommons.org/l/by/4.0/88x31.png)
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.