Предобработка данных для модели Doc2Vec при автоматической классификации текстовых запросов в службе технической поддержки провайдеров программного обеспечения

Аннотация

Ведущие компании-провайдеры программного обеспечения (ПО), как правило, реализуют функции технической поддержки клиентов; это становится важным фактором продвижения и конкурентоспособности продуктов и услуг провайдеров ПО на глобальных рынках. Высокий поток запросов и их неоднородность - функциональная, временная, языковая и др. - определяют значимость эффективной классификации, которая, в свою очередь, позволяет оптимально распределить этот поток между специалистами службы технической поддержки (СТП) и/или автоматизировать обработку заявок с использованием сложившейся базы знаний. Определение класса запросов является слабо формализованной задачей. Для компаний, накопивших значительный объем данных о запросах клиентов, становится возможной автоматизация классификации с помощью методов машинного обучения и моделей обработки естественного языка, таких как, например, Word2Vec, FastText, BERT, GPT и др. Принято считать, что эффективность классификации в этом случае зависит главным образом от применяемой модели. Однако на качество модели существенное влияние оказывает характер данных, применяемых для ее обучения. Обзор литературы показал высокий исследовательский интерес к методам автоматической классификации текстовых запросов, специфицированным к условиям деятельности СТП провайдеров ПО. Вместе с тем нужно отметить слабое внимание к вопросам о влиянии стадии предобработки данных на качество моделей, разрабатываемых в этой предметной области. Цель статьи состояла в уточнении содержания техник предобработки и анализе их влияния на эффективность классификации текстовых запросов с учетом специфики деятельности СТП провайдеров ПО. В ходе исследования было изучено содержание стадий процесса автоматической классификации текстовых заявок с учетом особенностей данных (клиентских текстовых запросов); сформирован релевантный комплекс специфицированных методических и инструментальных средств; проведена их экспериментальная апробация на основе открытых данных одного из глобальных провайдеров ПО (DevExpress). Для апробации была использована база данных, включающая 165 000 текстовых запросов, подготовленных необходимым образом. Результаты исследования показали, что предварительная обработка может улучшить метрики классификации - F-мера, точность (Precision), полнота (Recall) - с 77 до 79 %, а также позволяет значительно сократить размерность текстовых данных (на 48,2 %) и повысить скорость обучения модели (на 26,5 %) без потери в точности, что обеспечивает экономичность и оперативность в использовании вычислительных ресурсов.