Ученые сравнили методы классификации языка вражды в романском урду
Рост токсичного и враждебного контента в интернете стал серьезной проблемой для модерации соцсетей. Особенно сложно это для языков с ограниченными ресурсами, где мало размеченных данных и инструментов анализа.
Одним из таких языков является романский урду, широко используемый в Пакистане и среди урдуязычных диаспор. Его особенность — неформальная грамматика, непостоянные структуры предложений и множественные варианты написания слов, что создает дополнительные трудности для алгоритмов.
В новой научной работе, опубликованной на платформе arXiv, авторы поставили цель определить наиболее эффективные техники классификации враждебной речи в таких условиях. Они сосредоточились на сравнении современных подходов: параметр-эффективной тонкой настройки с LoRA, настройки промптов и промпт-инжиниринга.
Для этого исследователи провели четыре эксперимента. В первом использовали прямое обращение к большим языковым моделям без дообучения, чтобы оценить их понимание романского урду в нулевом контексте. Во втором применили PEFT с LoRA, обновляющий лишь небольшую часть параметров, что снижает вычислительные затраты. Третий эксперимент включал настройку промптов со смешанными и вручную составленными примерами, с малым числом обучающих данных. Четвертый был основан на промпт-инжиниринге с подходами zero-shot и few-shot.
Работа вносит вклад в изучение методов обработки низкоресурсных языков и может быть полезна для разработки систем автоматической модерации в многоязычных сообществах. Авторы отмечают, что выбор подхода существенно влияет на результат в условиях дефицита данных.
