TriEval: новый инструмент для оценки LLM на предвзятость, токсичность и правдивость — работает на обычном ноутбуке
Научная группа опубликовала в архиве препринтов arXiv описание TriEval — нового пайплайна для оценки больших языковых моделей (LLM). Инструмент позволяет одновременно измерять предвзятость (bias), токсичность и правдивость (truthfulness) выходных данных.
По словам разработчиков, существующие решения обычно тестируют только один параметр за раз или требуют значительных вычислительных ресурсов, включая кластеры GPU. TriEval же оптимизирован для работы на стандартном ноутбуке без специализированного оборудования. Это делает его доступным для широкого круга исследователей с ограниченными ресурсами.
Пайплайн совместим как с открытыми, так и с закрытыми моделями. В тестах использовались Llama 3 8B, Mistral 7B, Gemma 2 9B и Claude Haiku. Результаты показали заметные различия между открытыми и закрытыми моделями, особенно по показателям токсичности и правдивости.
Актуальность инструмента связана с массовым внедрением LLM в здравоохранение, образование и государственные услуги. Постоянный мониторинг безопасности и честности моделей становится критически важным, при этом многие исследователи не имеют доступа к дорогому оборудованию.
Исходный код TriEval опубликован под открытой лицензией, что позволяет сообществу дорабатывать и адаптировать пайплайн под свои задачи. Это шаг к демократизации тестирования ИИ, считают авторы.
