Применение методов снижения размерности данных к построению нечетких нейронных сетей
DOI:
https://doi.org/10.22213/2410-9304-2020-4-109-116Ключевые слова:
снижение размерности, метод главных компонент, нечеткая нейронная сеть, дерево решений, автокодировщик, ограниченная машина БольцманаАннотация
Многие задачи интеллектуального анализа данных могут быть сведены к задачам классификации и регрессии, современные подходы к решению которых основаны на применении нейронных сетей, деревьев решений и нечеткой логики, а также классических статистических методов. Решение сложных практических задач состоит из нескольких этапов, таких как выявление и отбор признаков, снижение размерности исходного пространства, поиск взаимосвязей и построение математической модели.
В данной работе рассматривается задача снижения размерности данных при построении нечеткой нейронной сети с целью сокращения количества исходных признаков и повышения их информативности. Для ее решения рассмотрены несколько подходов: применение метода главных компонент, нейронной сети с архитектурой автокодировщика и ограниченной машины Больцмана. В отличие от метода главных компонент, применение автокодировщика и ограниченной машины Больцмана позволяет учесть нелинейные связи между имеющимися признаками. Важной особенностью предлагаемой в работе нечеткой нейронной сети, основанной на нечетких деревьях решений, является наглядность представления закономерностей в системе данных в виде логических правил с оценкой важности каждого правила. Применение представленных методов снижения размерности входных данных позволило существенно снизить погрешность аппроксимации. По результатам тестирования лучшей способностью обобщать данные среди рассмотренных методов обладает ограниченная машина Больцмана: ее применение для построения правил в нечеткой нейронной сети снижает погрешность аппроксимации в несколько раз по сравнению с методом главных компонент. Полученные в работе результаты могут быть использованы для построения универсальных нечетких аппроксиматоров при решении задач машинного обучения и анализа данных.Библиографические ссылки
Antonio Rico-Sulayes. Reducing Vector Space Dimensionality in Automatic Classification for Authorship Attribution // Revista Ingeniería Electrónica, Automática y Comunicaciones. — 2017. — Т. 38, № 3.
Sakshi Indolia, Anil Kumar Goswami, S.P . Mishra, Pooja Asopa, Conceptual Understanding of Convolutional Neural Network - A Deep Learning Approach, Procedia Computer Science, Volume 132, 2018, Pages 679-688, ISSN 1877-0509, https://doi.org/10.1016/j.procs.2018.05.069.
Rawat, Waseem & Wang, Zenghui. (2017). Deep Convolutional Neural Networks for Image Classification: A Comprehensive Review. Neural Computation. 29. 1-98. 10.1162/ NECO_a_00990.
Mostaar A, Sattari MR, Hosseini S, Deevband MR. Use of Artificial Neural Networks and PCA to Predict Results of Infertility Treatment in the ICSI Method. J Biomed Phys Eng. 2019;9(6): 679-686. Published 2019 Dec 1. doi:10.31661/jbpe.v0i0.1187
M. Seuret, M. Alberti, M. Liwicki and R. Ingold, "PCA-Initialized Deep Neural Networks Applied to Document Image Analysis," 2017 14th IAPR International Conference on Document Analysis and Recognition (ICDAR), Kyoto, 2017, pp. 877-882. doi: 10.1109/ICDAR.2017.148
Kruger U., Zhang J., Xie L. (2008) Developments and Applications of Nonlinear Principal Component Analysis – a Review. In: Gorban A.N., Kégl B., Wunsch D.C., Zinovyev A.Y. (eds) Principal Manifolds for Data Visualization and Dimension Reduction. Lecture Notes in Computational Science and Enginee, vol 58. Springer, Berlin, Heidelberg. https://doi.org/10.1007/978-3-540-73750-6_1
Classification and regression trees // L. Breiman,
J. H. Friedman, R. A. Olshen, C. J. Stone. – California: Wadsworth & Brooks, 1984. – 368 p.
Antonio Hernández-Blanco, Boris Herrera-Flores, David Tomás, Borja Navarro-Colorado, "A Systematic Review of Deep Learning Approaches to Educational Data Mining", Complexity, vol. 2019, Article ID 1306039, 22 pages, 2019.https://doi.org/10.1155/ 2019/1306039
Emmert-Streib F , Yang Z, Feng H, Tripathi S and Dehmer M (2020) An Introductory Review of Deep Learning for Prediction Models With Big Data. Front. Artif. Intell. 3:4. doi: 10.3389/frai. 2020.00004
Созыкин А. В. Обзор методов обучения глубоких нейронных сетей // Вестник ЮУрГУ. Серия: Вы-числительная математика и информатика. 2017. Т. 6, № 3. С. 28–59. DOI: 10.14529/cmse170303.
Salakhutdinov, R. & Hinton, G. (2009). Deep Boltzmann Machines. Proceedings of the Twelth International Conference on Artificial Intelligence and Statis-tics, in PMLR5:448-455
Hinton G.E., Osindero S., Teh Y.-W. A Fast Learning Algorithm for Deep Belief Nets. Neural Com-puting. 2006. vol. 18, no. 7. pp. 1527–1554. DOI: 10.1162/neco.2006.18.7.1527.
Осовский, Станислав. Нейронные сети для обработки информации / Станислав Осовский ; пер. с пол. И. Д. Рудинского. М. : Финансы и статистика, 2004 (Великолук. гор. тип.). 43 с. : ил.; 24 см. ISBN 5-279-02567-4 (в обл.)
Тененев В. А., Ворончак В. И. Решение задач классификации и аппроксимации с применением нечетких деревьев решений // Интеллектуальные системы в производстве. 2005. № 2. С. 46–54.
Тененев В. А., Тененева А. В. Обучение нечетких нейронных сетей генетическим алгоритмом // Интеллектуальные системы в производстве. 2010. № 1. С. 76–85.
