Continuous Autoregressive Language Models

Непрерывные Авторегрессионные Языковые Модели В этом документе представлены Непрерывные Авторегрессионные Языковые Модели (CALM) - новая парадигма для языкового моделирования, которая переходит от предсказания дискретных токенов к предсказанию непрерывных векторов. CALM использует автоэнкодер для сжатия последовательностей токенов в векторы, уменьшая количество генеративных шагов и повышая вычислительную эффективность. В документе подчеркиваются ограничения дискретного представления токенов в традиционных больших языковых моделях (LLM) и утверждается необходимость увеличения семантической пропускной способности. Разработана структура, не требующая правдоподобия, для решения проблем моделирования в непрерывной области, с упором на обучение, оценку и управляемую выборку. Авторы представляют легкий автоэнкодер для надежного векторного представления и Energy Transformer для эффективной одношаговой генерации. Предлагается новая метрика, BrierLM, для оценки языковых моделей, не требующих правдоподобибия. Экспериментальные результаты показывают, что CALM достигает конкурентоспособной производительности при меньших вычислительных затратах, демонстрируя потенциал предсказания следующих векторов. Авторы стремятся утвердить предсказание следующего вектора в качестве мощного и масштабируемого пути к ультраэффективным языковым моделям. Их основные вклады структурируют остальную часть статьи. #предсказаниеследующеговектора отправить донаты: USDT...