|
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ПсковГУ |
||
Применимость методов оценки качества синтаксического анализа к результатам синтаксического анализатора на основе большой языковой моделистатья
- Авторы: Шамаева Е.Д., Лукашевич Н.В.
- Сборник: Труды XII НАЦИОНАЛЬНОЙ КОНФЕРЕНЦИИ ПО ИСКУССТВЕННОМУ ИНТЕЛЛЕКТУ С МЕЖДУНАРОДНЫМ УЧАСТИЕМ
- Том: 1
- Год издания: 2025
- Первая страница: 1
- Последняя страница: 330
- Аннотация: При применении больших языковых моделей для задачи синтаксического анализа возникают принципиально новые ситуации: завершение синтаксического анализа с ошибкой и существенное изменение предложения, для которого выполняется синтаксический анализ (в том числе удаление или добавление слов). Данная статья посвящена исследованию влияния таких ситуаций на применимость стандартных методов оценки качества синтаксического анализа к результатам работы синтаксического анализатора на основе больших языковых моделей. Экспериментальная оценка проведена для синтаксического анализатора U-DepPLLaMA на тестовой выборке датасета предложений с синтаксической разметкой Taiga. Установлено, что к результатам синтаксического анализа на основе больших языковых моделей нельзя применять метод оценки на основе вычисления среднего значения метрик UAS и LAS на тестовых предложениях. Кроме того, без существенной модификации нельзя использовать стандартный алгоритм выравнивания наборов токенов. Реализация исследования доступна по адресу https://github.com/Derinhelm/parser_stat/tree/llm_taiga.
- Добавил в систему: Лукашевич Наталья Валентиновна