📄 How Do LLMs Use Their Depth?

Описание

Как большие языковые модели используют свою глубину?

В данной статье исследуется, как большие языковые модели (БЯМ) используют свою глубину во время логического вывода. Авторы предлагают структуру «Сначала предположение, затем уточнение», предполагая, что БЯМ первоначально делают статистические предположения, основанные на часто встречающихся токенах на ранних слоях. Затем эти первоначальные предположения уточняются в контекстно-зависимые токены на более глубоких слоях. Исследование показывает, что служебные слова предсказываются раньше, чем существительные или глаголы. Анализ восстановления фактов показывает, что первый токен ответа требует большей вычислительной глубины. Задачи с множественным выбором показывают, что формат ответа определяется на раннем этапе, а окончательный ответ завершается позже. Полученные результаты дают представление о послойных вычислениях БЯМ и предлагают способы повышения вычислительной эффективности.
#БЯМ #ГлубокоеОбучение #ОбработкаЕстественногоЯзыка #ЯзыковыеМодели #ИИ #СначалаПредположениеЗатемУточнение #ВычислительнаяЭффективность

документ - http://arxiv.org/pdf/2510.18871v1
подписаться - https://t.me/arxivpaperu
отправить донаты:
USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7
BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr
ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7
SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e
создано с помощью NotebookLM