在人工智能领域，大型语言模型（LLMs）的发展一直是研究的热点。这些模型在处理长序列数据、理解内部长期动态以及生成连贯输出方面的能力，对于多轮对话、长文档理解、视频生成等实际应用至关重要。然而，现有的Transformer架构由于其二次方的计算复杂性和有限的归纳偏差，使其在长序列建模上存在效率低下的问题。尽管有诸如线性注意力和状态空间模型等次线性解决方案，但它们在预训练效率和下游任务准确性方面仍未能超越Transformer。
在这样的背景下，Meta公司的研究团队提出了MEGALODON，这是一个针对无限长文本序列建模而设计的神经网络架构。MEGALODON继承了MEGA（门控注意力与指数移动平均）架构，并引入了多个技术组件以提升其能力和稳定性，包括复数指数移动平均（CEMA）、时间步归一化层、归一化注意力机制以及预归一化配合双跳残差配置。在与LLAMA2的对比中，MEGALODON在7亿参数规模和2万亿训练令牌的条件下，展现了比Transformer更好的效率，并且在多个基准测试中的表现稳健。
MEGALODON的核心创新之一是CEMA，它将MEGA中的多维阻尼指数移动平均扩展到了复数域，这一改进有助于保持核权重中的衰减结构，这对于卷积模型在长序列建模上的成功至关重要。此外，MEGALODON还引入了时间步归一化层，这一层通过计算累积均值和方差，为自回归序列建模任务提供了一种新的归一化方法。这些技术的应用使得MEGALODON在处理长序列数据时，能够实现线性的计算和内存复杂度。
在实验部分，MEGALODON在不同规模的语言建模和特定领域的下游任务上进行了广泛的性能评估。结果表明，MEGALODON在训练困惑度和各种下游基准测试中，均显著优于LLAMA2。特别是在长上下文建模方面，包括在不同上下文长度下的困惑度以及在Scrolls数据集上的长上下文问答任务，MEGALODON证明了其对无限长度序列建模的能力。
此外，MEGALODON在中等规模的基准测试上也展现了其强大的性能，包括在ImageNet-1K数据集上的图像分类任务，以及在PG-19数据集上的自回归语言建模任务。这些实验结果进一步证明了MEGALODON在不同数据模态上的鲁棒性。
值得注意的是，MEGALODON的模型大小为7亿参数，这在当前的LLMs中是一个相对适中的规模。尽管如此，它在多个任务上的表现已经接近或超过了更大的模型，这表明MEGALODON在参数效率上具有显著优势。此外，MEGALODON的代码已经开源，这意味着学术界和工业界的研究人员可以自由地访问、使用和进一步开发这一架构。
当然，任何新技术都不可能完美无缺，MEGALODON同样面临一些挑战和局限性。例如，尽管在长序列建模上表现出色，但在处理极端长度的序列时，其性能可能会受到一定影响。此外，MEGALODON的计算和内存需求随着序列长度的增加而线性增长，这可能在资源有限的环境下成为一个问题。尽管如此，MEGALODON的提出无疑为长序列建模提供了一个有力的工具，并且为未来的研究开辟了新的可能性。
