Система анализа на основе открытых источников текстовых данных на базе отечественной среды визуального программирования PolyAnalyst

К С Корнеев; М С Спирин; Е М Степанов; Д С Дерунов

doi:10.22213/2410-9304-2025-2-104-111

Авторы

К. С. Корнеев ВИТ «ЭРА»
М. С. Спирин ВИТ «ЭРА»
Е. М. Степанов ВИТ «ЭРА»
Д. С. Дерунов ВИТ «ЭРА»

DOI:

https://doi.org/10.22213/2410-9304-2025-2-104-111

Ключевые слова:

PolyAnalyst, анализ данных, low-code, искусственный интеллект, машинное обучение, nlp, обработка естественного языка, osint, анализ на основе открытых данных

Аннотация

Статья посвящена применению технологий обработки естественного языка (NLP) для усиления анализа открытых источников информации (OSINT) в государственных структурах, ответственных за обеспечение национальной безопасности. В условиях постоянно растущего потока данных из различных онлайн-источников эффективная обработка и анализ информации критически важны для своевременного выявления и предотвращения угроз. Для решения этой задачи используются передовые алгоритмы машинного обучения и искусственного интеллекта, реализованные с применением low-code-принципов. Это позволяет значительно ускорить разработку и внедрение аналитических решений, минимизируя потребность в традиционном программировании и привлекая специалистов с меньшим опытом в области программирования, но обладающих экспертизой в анализе данных и OSINT. Центральной частью рассматриваемой системы является платформа визуального программирования PolyAnalyst. Ее архитектура, основанная на принципах low-code, предоставляет пользователям интуитивно понятный интерфейс для построения сложных аналитических конвейеров. Система включает в себя специализированные наборы функциональных узлов, предназначенных для выполнения различных этапов обработки данных. Модуль ETL (Extract, Transform, Load) обеспечивает загрузку, очистку и преобразование данных из различных источников. Модуль Data Mining позволяет применять алгоритмы машинного обучения для выявления закономерностей и прогнозирования. Ключевым элементом является модуль TextMining, который использует NLP-алгоритмы для анализа текстовой информации, извлечения ключевых слов, определения настроений и выявления сущностей, представляющих интерес для анализа OSINT. Наконец, модуль BI (Business Intelligence) обеспечивает визуализацию результатов анализа и построение интерактивных отчетов для удобства восприятия и принятия решений. В совокупности, эти модули позволяют создавать мощные и гибкие аналитические системы, способные эффективно обрабатывать большие объемы OSINT-данных и предоставлять ценную информацию для принятия стратегических решений в области национальной безопасности.

Биографии авторов

К. С. Корнеев, ВИТ «ЭРА»

Junior Researcher

М. С. Спирин, ВИТ «ЭРА»

кандидат технических наук

Е. М. Степанов, ВИТ «ЭРА»

Senior Operator

Д. С. Дерунов, ВИТ «ЭРА»

Senior Operator

Библиографические ссылки

Магомадов В. С. Платформы LOW-CODE и NO-CODE как способ сделать программирование более доступным для широкой общественности // МНИЖ. 2021. № 6-1 (108). URL: https://cyberleninka.ru/article/n/platformy-low-code-i-no-code-kak-sposob-sdelat-programmirovanie-bolee-dostupnym-dlya-shirokoy-obschestvennosti (дата обращения: 17.01.2025).

Статьев В. Ю., Докучаев В. А., Маклачкова В. В. Информационная безопасность на пространстве "больших данных" // T-Comm. 2022. № 4. URL: https://cyberleninka.ru/article/n/informatsionnaya-bezopasnost-na-prostranstve-bolshih-dannyh (дата обращения: 20.01.2025).

Басина П. А., Дунаева Д. О., Саркисова А. Ю. Валидация моделей машинного обучения для автоматизированного определения тональности русскоязычных текстов // Вестн. Том. гос. ун-та. 2022. №485. URL: https://cyberleninka.ru/article/n/validatsiya-modeley-mashinnogo-obucheniya-dlya-avtomatiziro-vannogo-opredeleniya-tonalnosti-russkoyazychnyh-tekstov (дата обращения: 20.01.2025).

Карпов Д. К. Обработка больших данных с использованием средств языка Python // StudNet. 2021. № 6. URL: https://cyberleninka.ru /article/n/obrabotka-bolshih-dannyh-s-ispolzovaniem-sredstv-yazyka-python (дата обращения: 18.01.2025).

Арланова А. А., Нобатов А. М. Интеллектуальный анализ данных: виды и методы // Вестник науки. 2023. № 1 (58). URL: https://cyber-leninka.ru/article/n/intellektualnyy-analiz-dannyh-vidy-i-metody (дата обращения: 18.01.2025).

Статистическая модель поиска целевых объектов в социальной сети / Д. И. Сафиканов, А. А. Артамонов, Ю. Е. Фомина, А. И. Черкасский // International Journal of Open Information Technologies. 2024. № 10. URL: https://cyberleninka.ru/article /n/statisticheskaya-model-poiska-tselevyh-obektov-v-sotsialnoy-seti (дата обращения: 18.01.2025).

Кучкаров Т. С. О методах и инструментах анализа больших данных // Экономика и социум. 2023. №12 (115)-2. URL: https://cyberleninka.ru/article/n/o-metodah-i-instrumentah-analiza-bolshih-dannyh (дата обращения: 18.01.2025).

Русакович А. С. Интеллектуальный анализ данных как инструмент поддержки принятия решений // Современные инновации. 2022. № 1 (41). URL: https://cyberleninka.ru/article/n/intellektualnyy-analiz-dannyh-kak-instrument-podderzhki-prinyatiya-resheniy (дата обращения: 17.01.2025).

Соломонов А. А. Оптимизация ETL-процессов для больших данных // Вестник науки. 2024. № 9 (78). URL: https://cyberleninka.ru/article/n/optimizatsiya-etl-protsessov-dlya-bolshih-dannyh (дата обращения: 17.01.2025).

Саркисова А. Ю. Ресурс аналитической платформы polyanalyst в социогуманитарных научных исследованиях. Томск: Издательство Томского государственного университета, 2021. 12 с. URL: https://vital.lib.tsu.ru/vital/access/services/Download/koha:000897657/SOURCE1

Смирнов В. И., Новоселова О. В. Обзор современных методов анализа больших данных для различных предметных областей // Вестник науки. 2024. № 6 (75). URL: https://cyberleninka.ru/article/n/obzor-sovremennyh-metodov-analiza-bolshih-dannyh-dlya-razlichnyh-predmetnyh-oblastey (дата обращения: 18.01.2025).

Zhang Zhipeng, Poguda Aleksey Research on the development of data augmentation techniques in the field of machine translation // International Journal of Open Information Technologies. 2023. № 5. URL: https://cyberleninka.ru/article/n/research-on-the-development-of-data-augmentation-techniques-in-the-field-of-machine-translation (дата обращения: 17.01.2025).

Gruetzemacher R. The Power of Natural Language Processing. - Harvard Business Review, 2022. URL: https://hbr.org/2022/04/the-power-of-natural-language-processing (дата обращения: 01.02.2022).

Воложанина Д. Н., Жукова М. Н. Пересмотр процедуры оценки защищенности методами OSINT в условиях нестабильной международной политической обстановки // Актуальные проблемы авиации и космонавтики. 2022. URL: https://cyberleninka.ru/article/n/peresmotr-protsedury-otsenki-zaschischennosti-metodami-osint-v-usloviyah-nestabilnoy-mezhdunaro-dnoy-politicheskoy-obstanovki (дата обращения: 17.01.2025).

LebidAndrii E., StepanovVitalii V., NazarovMykola S. Use of the OSINT-technologies for civil society institutions // International Journal of Media and Information Literacy. 2023. № 1. URL: https://cyber-leninka.ru/article/n/use-of-the-osint-technologies-for-civil-society-institutions (дата обращения: 17.01.2025).