ИСТИНА

При применении больших языковых моделей для задачи синтаксического анализа возникают принципиально новые ситуации: завершение синтаксического анализа с ошибкой и существенное изменение предложения, для которого выполняется синтаксический анализ (в том числе удаление или добавление слов). Данная статья посвящена исследованию влияния таких ситуаций на применимость стандартных методов оценки качества синтаксического анализа к результатам работы синтаксического анализатора на основе больших языковых моделей. Экспериментальная оценка проведена для синтаксического анализатора U-DepPLLaMA на тестовой выборке датасета предложений с синтаксической разметкой Taiga. Установлено, что к результатам синтаксического анализа на основе больших языковых моделей нельзя применять метод оценки на основе вычисления среднего значения метрик UAS и LAS на тестовых предложениях. Кроме того, без существенной модификации нельзя использовать стандартный алгоритм выравнивания наборов токенов. Реализация исследования доступна по адресу https://github.com/Derinhelm/parser_stat/tree/llm_taiga.