Наука

RoVE: как сделать механизм внимания чувствительным к позиции — результаты на GPT-2

RoVE: как сделать механизм внимания чувствительным к позиции —..

Исследователи предложили модификацию Rotary Position Embeddings (RoPE), названную RoVE, которая делает значения в механизме внимания...


HORMA: иерархическая память для ИИ-агентов сокращает расход токенов на 78%

HORMA: иерархическая память для ИИ-агентов сокращает расход..

Исследователи представили HORMA — систему организации памяти для LLM-агентов, напоминающую файловую структуру. Метод позволяет эффективно...


Ученые измерили неосознаваемый перенос вредного поведения при дистилляции языковых моделей

Ученые измерили неосознаваемый перенос вредного поведения при..

Исследователи из arXiv количественно оценили, как нежелательные черты от языковых моделей-учителей передаются ученикам при дистилляции,...


Lung-R1: ИИ с графом знаний превзошёл аналоги в диагностике лёгочных болезней

Lung-R1: ИИ с графом знаний превзошёл аналоги в диагностике..

Исследователи представили LungKG — первый структурированный граф знаний для диагностики лёгочных заболеваний, и построенную на его основе...


LakeFM: Новая фундаментальная модель ИИ для прогнозирования состояния озёр

LakeFM: Новая фундаментальная модель ИИ для прогнозирования..

Исследователи представили LakeFM — фундаментальную модель машинного обучения для анализа и прогнозирования динамики озёр. Модель обучена на...


SWARR: как reinforcement learning адаптирует скользящее внимание для математических рассуждений

SWARR: как reinforcement learning адаптирует скользящее внимание..

Исследователи представили метод SWARR, который с помощью reinforcement learning восстанавливает точность математических рассуждений у...


VLM-Safe-RL: предвидение коллизий с помощью замороженных моделей зрения

VLM-Safe-RL: предвидение коллизий с помощью замороженных моделей..

Исследователи представили VLM-Safe-RL — фреймворк для безопасного обучения с подкреплением, который использует замороженные vision-language...


SkillJuror: организация навыков ИИ-агентов оказалась важнее их содержания

SkillJuror: организация навыков ИИ-агентов оказалась важнее их..

Исследователи представили SkillJuror — фреймворк для оценки влияния организации навыков на поведение LLM-агентов. В тесте на 82 задачах...


PermDoRA: ортогональность адаптеров не улучшает многозадачность LLM

PermDoRA: ортогональность адаптеров не улучшает многозадачность..

Исследователи проверили гипотезу, что интерференция адаптеров в LLM вызвана перекрытием обновлений параметров, и предложили фреймворк...


INFRAMIND: новый подход к управлению мультиагентными LLM с учётом инфраструктуры

INFRAMIND: новый подход к управлению мультиагентными LLM с..

Исследователи представили INFRAMIND — фреймворк, который учитывает состояние серверов при маршрутизации запросов в мультиагентных...