АНАЛИЗ СИСТЕМ НЕЙРОННОГО МАШИННОГО ПЕРЕВОДА С ПОМОЩЬЮ МЕТРИК АВТОМАТИЗИРОВАННОЙ ОЦЕНКИ

Аннотация

В статье представлены современные метрики автоматизированной оценки качества нейронного машинного перевода и рассмотрены два способа оценки результатов, которые включают в себя оценку при помощи специальных метрик автоматизированной оценки, а также оценку переводчиком-экспертом. Для проведения анализа и оценки протестированы системы нейронного машинного перевода. В качестве кандидатов в работе представлены системы Google Translate и DeepL Translate, которые применяют в работе нейросетевой подход. В качестве метрик для оценки рассмотрены: METEOR как традиционная референсная метрика, COMET как нейросетевая референсная метрика и COMET-Kiwi как нейросетевая безреференсная метрика. Необходимо указать, что на современном этапе нейросетевые метрики лучше всего соотносятся с человеческими оценками качества машинного перевода. Отмечается, что даже модели с нейросетевым подходом обучаются на данных, предоставленных человеком, т. к. на сегодняшний день невозможно избавиться от эталонов или оценок качества, выполненных экспертами. Данные метрики используют для упрощения оценки качества, они позволяют лучше исследовать машинный перевод, его особенности и предельные возможности. В рамках анализа был выбран фрагмент исходного текста, выполнен его перевод на целевые языки при помощи выбранных систем нейронного машинного перевода для получения переводов-кандидатов, а затем указан для каждого из них текст-эталон. Результаты оценки при помощи метрик дали возможность оценить, насколько близок машинный перевод к переводу, выполненному человеком, а также выяснить, на каком этапе развития находятся современные системы машинного перевода. Экспертная оценка помогла понять, насколько эффективно системы справляются с переводом.