首页 > 快讯 > Meta 发布 Llama 4 大模型:混合专家架构引领 AI 新时代

Meta 发布 Llama 4 大模型:混合专家架构引领 AI 新时代

发布时间:2025-04-07 10:10:22 | 责任编辑:字母汇 | 浏览量:15 次

《Meta 发布 Llama 4 大模型:混合专家架构引领 AI 新时代》相关软件官网

Llama

Meta 公司推出了其最新的开源人工智能模型 Llama4,标志着其在人工智能领域的又一重大进展。Llama4分为两个版本,分别命名为 Scout 和 Maverick,旨在提升 AI 模型的功能与表现。Meta 表示,Llama4是一个多模态大模型,能够处理文本、图像、视频和音频等多种数据类型,并能在这些格式之间自由转换。
值得一提的是,Llama4系列首次采用了 “混合专家”(MoE)架构,这一新颖设计极大地提高了模型的训练和响应效率。通过将模型划分为多个专注于特定任务的 “专家” 子模型,Llama4在处理复杂查询时能够表现得更加迅速且精准。
根据 Meta 的介绍,Scout 和 Maverick 是目前公司最先进的模型。Scout 的活跃参数数量为170亿,配备16个 “专家” 模型,总参数高达1090亿,而 Maverick 同样拥有170亿个活跃参数,但其 “专家” 模型数量增至128个,总参数量则达到了惊人的4000亿。此外,Meta 还在研发一款名为 Behemoth 的更强大模型,声称其是 “新模型中的教师”,预示着未来更多的创新。
这些模型经过大量未标注的数据训练,展现出卓越的视觉理解能力。现在,Scout 和 Maverick 可在 Llama.com 以及 Meta 的合作伙伴平台上公开获取,并已在 WhatsApp、Messenger 和 Instagram Direct 等社交平台上推广使用。
Meta 的首席执行官扎克伯格在发布会上表示:“我们的目标是建立世界领先的人工智能,并将其开源,让更多的人受益。” 他强调,Llama4的推出标志着开源人工智能的崛起,将改变行业的格局。
Meta 计划在未来一年中投入高达650亿美元来扩展其人工智能基础设施,尽管投资者对大型科技公司的实际回报仍然持谨慎态度。这一系列的动作无疑将使 Meta 在 AI 领域更具竞争力,并推动整个行业的技术革新。

Meta 发布 Llama 4 大模型:混合专家架构引领 AI 新时代-项目/模型网址:

Meta 发布 Llama 4 大模型:混合专家架构引领 AI 新时代

2025 年 4 月 5 日,Meta 正式发布了新一代开源大语言模型 Llama 4,标志着其在 AI 领域的重大突破。Llama 4 系列包括三个版本:Llama 4 Scout、Llama 4 Maverick 和 Llama 4 Behemoth。这些模型均采用了混合专家(MoE)架构,显著提升了训练和推理效率。

核心亮点

  • 混合专家架构:Llama 4 系列是 Meta 首批采用 MoE 架构的模型。这种架构通过将数据处理任务分解为子任务,并委派给更小的、专门的“专家”模型,从而提升了整体的运算效率。例如,Llama 4 Maverick 模型总共有 4000 亿个参数,但在 128 个“专家”模型中只有 170 亿个活跃参数。
  • 原生多模态能力:Llama 4 支持图文联合输入,可用于图像问答、表格分析等复杂任务。
  • 超长上下文处理:Llama 4 Scout 支持 1000 万 tokens 的超长上下文窗口,远超 GPT-4 Turbo(128K),适用于多文档摘要、解析大量用户活动以执行个性化任务以及对庞大的代码库进行推理。
  • 强大的对话与推理能力:Llama 4 Maverick 在 LMArena 排行榜得分 1417,超过 Claude 3 Sonnet,在创意写作、代码生成、翻译、推理、长文本上下文总结和图像基准测试中表现优异。
  • 高效 MoE 架构:采用混合专家机制,推理更快、部署成本更低。
  • 免费开源可商用:权重与推理代码全面开放,可在 Hugging Face 等平台下载部署。

各版本特点

  • Llama 4 Scout
    • 参数:170 亿活跃参数、16 个“专家”模型、总计 1090 亿个参数。
    • 优势:超长上下文处理能力,适用于文档摘要和大型代码库推理。
    • 硬件需求:可在单个英伟达 H100 GPU 上运行。
  • Llama 4 Maverick
    • 参数:170 亿活跃参数、128 个“专家”模型、总计 4000 亿个参数。
    • 优势:多模态能力突出,适用于通用 AI 助手和聊天场景。
    • 硬件需求:需要英伟达 H100 DGX AI 平台或同等性能设备。
  • Llama 4 Behemoth
    • 参数:2880 亿个活跃参数、16 个“专家”模型,总参数数量接近 2 万亿个。
    • 优势:在 STEM 基准测试中表现优异,未来将作为教师模型,用于复杂任务训练与知识蒸馏。
    • 硬件需求:需要更强大的硬件支持。

下载与使用

Llama 4 已正式开放下载,可通过以下平台获取:

  • 官方网站:www.llama.com
  • Hugging Face 模型页:Meta Llama 4 on HF
  • 可部署平台:本地服务器、私有云、Hugging Face Spaces、企业 SaaS

未来展望

Meta 计划今年斥资 650 亿美元扩建 AI 基础设施,以支持 Llama 4 系列模型的进一步发展。此外,Meta 还将于 4 月 29 日举办首届 LlamaCon AI 大会,预计推出 Meta AI 聊天机器人的独立应用程序。

Llama 4 的发布不仅展示了 Meta 在 AI 领域的强大实力,也为开源 AI 的发展提供了新的方向。混合专家架构的应用,标志着 AI 模型设计从单一任务向多任务协同的转变,为未来更高效、更智能的 AI 系统奠定了基础。

©️版权声明:
本网站(https://aigc.izzi.cn)刊载的所有内容,包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。除此以外,将本网站任何内容或服务用于其他用途时,须征得本网站及相关权利人的书面许可,并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。

最新Ai信息

最新Ai工具