标题： 因果Transformer在没有位置编码的情况下通过附近嵌入的相似性产生位置信息 显示英文标题

标题： Position Information Emerges in Causal Transformers Without Positional Encodings via Similarity of Nearby Embeddings

摘要： 具有因果注意力的 Transformer 可以在不使用位置编码的情况下解决需要位置信息的任务。 在这项工作中，我们提出并研究了关于如何在不使用显式位置编码的情况下存储位置信息的新假设。 我们观察到附近的嵌入比远处的嵌入更相似，这使得 Transformer 可以潜在地重构标记的位置。 我们表明，在具有因果注意力且无位置编码的 Transformer 模型中，这种模式可以在广泛的超参数范围内出现在训练和随机初始化的模型中。 显示英文摘要

摘要： Transformers with causal attention can solve tasks that require positional information without using positional encodings. In this work, we propose and investigate a new hypothesis about how positional information can be stored without using explicit positional encoding. We observe that nearby embeddings are more similar to each other than faraway embeddings, allowing the transformer to potentially reconstruct the positions of tokens. We show that this pattern can occur in both the trained and the randomly initialized Transformer models with causal attention and no positional encodings over a common range of hyperparameters.