Meta Llama 3.1 刷新记录！能够记住《哈利波特》超四成情节的惊艳表现！
发布时间：2025-06-17 11:34:34 | 责任编辑：张毅 | 浏览量：39 次
最近，一组来自斯坦福大学、康奈尔大学和西弗吉尼亚大学的计算机科学家与法律学者共同发表了一项引人瞩目的研究，分析了几款开源大型语言模型在文本记忆方面的表现。这项研究着重考察了五种不同的开放权重模型，它们的能力是否能够重复经典书籍中的内容。这五款模型中，有三款来自 Meta，另外两款分别由微软和 EleutherAI 开发。
研究团队采用了 Books3这一流行的书籍数据库，作为训练这些大模型的素材，值得一提的是，这些书籍中许多依然受到版权保护。研究者们将36本书划分为多个重叠的100个标记段落，然后利用前50个标记作为提示，计算接下来的50个标记与原文相同的概率。如果逐字重复的概率超过50%，那么这段内容就被标记为 “已记住”。
令人惊讶的是，Meta 于2024年发布的 Llama3.170B 模型在回忆《哈利波特》第一部的表现中，竟能记住42% 的内容。而相比之下，Meta 在2023年发布的 Llama165B 模型仅能回忆起4.4% 的内容。这一显著提升引发了学术界的广泛关注。研究人员还发现，相较于冷门书籍，Llama3.170B 在热门书籍如《霍比特人》和乔治・奥威尔的《1984》中的记忆能力更为突出，记忆量远高于其他模型。
这一研究成果不仅展示了大型语言模型在文本记忆方面的显著进步，也引发了人们对未来 AI 技术在处理和理解文本内容能力的期待。可以说，随着技术的发展，人工智能正在不断接近人类的认知水平。
Meta 的 Llama 3.1 模型在文本记忆能力方面取得了显著突破。根据斯坦福大学、康奈尔大学和西弗吉尼亚大学的研究团队发表的论文，Llama 3.1 70B 模型能够回忆起《哈利·波特》第一部 42% 的内容。这一结果是通过将书籍内容划分为多个 100 个标记的段落，利用前 50 个标记作为提示，计算接下来 50 个标记与原文相同的概率得出的。如果逐字复述的概率超过 50%，则该段落被标记为“已记住”。
相比之下，Meta 在 2023 年发布的 Llama 1 65B 模型在相同测试中仅能回忆起 4.4% 的内容。这表明 Llama 3.1 在文本记忆能力上有显著提升。研究还发现，Llama 3.1 70B 在热门书籍如《霍比特人》和《1984》上的记忆表现也优于其他模型。
这一成果不仅展示了大型语言模型在文本记忆方面的巨大进步，也引发了对人工智能版权问题的进一步讨论。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
