ICLR 2019 遗珠加大号变形金刚Transformer-XL真的能像电影中那样变形吗
在这篇文章里，我们将探索一项令人惊叹的AI技术，它似乎具有超越现有模型能力的潜力。 Transformer-XL 是一个全新的、基于注意力的神经网络架构，它不仅能够处理可变长度序列，而且在多个任务中刷新了当前的最佳性能。
Transformer-XL 的诞生可以追溯到谷歌大脑于2017年提出最初版本的 Transformer 模型。当时，这种完全依赖于注意力的编码器-解码器结构被证明是机器翻译和文本理解等任务中的重要基准。随后，谷歌大脑又推出了第二代模型 Universal Transformer，并通过一种新型时间并行循环结构使其更加强大。
然而，Transformer-XL 在与前两代相比更进一步的地方：它允许模型学习更长期的依赖关系，而不会干扰时空的一致性。这是通过结合小节级别循环机制和一个全新的位置编码模式实现的。此外，该方法还解决了内容分块的问题，使得它能够捕捉到远超过 RNN 学习到的依赖长度，同时保持高效率。
实验结果显示，Transformer-XL 不仅在长序列上取得了显著提升，还在短序列上的表现也优于之前版本。此外，在多个数据集上都打破了记录，比如 text8 数据集从 1.13 提升至 1.08，小到 Penn Treebank 数据集上从 55.3 提升至 54.5 都有所改进。
值得一提的是，即便论文投稿 ICLR 2019 被拒，但许多学者仍认为这是一个非常有价值的研究工作，其中包括 David Ha，他评价称该论文提供了一套实用的代码，可以应用于语言建模之外的许多其他任务。
如果你对这种前沿技术感兴趣，可以阅读完整论文，并尝试使用作者提供的预训练模型进行实验。要查看详细信息，请访问 https://arxiv.org/abs/1901.02860 或者访问 GitHub 上开源项目 https://github.com/kimiyoung/transformer-xl，以获取 PyTorch 和 TensorFlow 版本以及预训练好的模型。
