Автоматическая категоризация текстовых обращений с использованием дообученных языковых моделей

Аннотация

Службы поддержки различных организаций ежедневно получают сотни и тысячи обращений от пользователей. Ручная сортировка этих заявок занимает значительное время и часто приводит к ошибкам маршрутизации, что снижает скорость и качество обслуживания клиентов. Автоматизация процесса категоризации обращений является актуальной задачей для компаний любого профиля: IT-поддержка, медицинские учреждения, банки, государственные службы, интернет-магазины. В данной работе предложен универсальный метод автоматической сортировки текстовых обращений по категориям с использованием дообученной нейросетевой модели Sentence-BERT (SBERT). Исследована проблема низкой эффективности предобученных языковых моделей при работе с текстами узкоспециализированных предметных областей. Для решения этой проблемы применено контрастивное дообучение модели на предметно-ориентированных данных, что позволило существенно улучшить качество векторных представлений текстов. Проведено систематическое сравнение четырех подходов: базовая модель без дообучения, контрастивное обучение без учителя на неразмеченных данных, дообучение с учителем с использованием критерия Cosine Similarity Loss и дообучение с критерием Multiple Negatives Ranking Loss (MNRL). Эксперименты проведены на наборе из 6500 обращений на русском языке, из которых 1119 были размечены по 16 категориям. Для оценки качества кластеризации использованы как внутренние метрики (Silhouette Score, Davies-Bouldin Index), так и внешние (Purity, NMI, ARI). Лучший результат показал метод MNRL: качество кластеризации по метрике Purity выросло на 123 %, по NMI - на 233 %, по ARI - на 658 % по сравнению с базовой моделью. Предложен механизм оценки уверенности классификации на основе индивидуального Silhouette Score для каждого обращения, позволяющий направлять неуверенные случаи на ручную обработку. Разработанный подход универсален и может быть адаптирован для автоматизации обработки обращений в любой предметной области при наличии 10-20 % размеченных данных.