全新全球语言推理模型RWKV7-G1 1.5B发布,涵盖逾百种自然语言
发布时间:2025-04-30 08:48:25 | 责任编辑:张毅 | 浏览量:4 次
4月29日,RWKV基金会宣布开源发布了RWKV7-G11.5B推理模型,这是一款具备强大推理能力和多语言支持的模型,特别适合在端侧设备(如手机)上运行。该模型基于World v3.5数据集训练,包含小说、网页、数学、代码和推理数据,总数据量达到5.16T tokens。
RWKV7-G11.5B模型在推理逻辑性方面表现出色,能够完成多语言、数学和代码任务。其英语和多语言能力显著强于同规模的开源模型,包括同期发布的Qwen3-1.7B-Base。在MMLU(Multilingual Mathematics Language Understanding)评测中,该模型的准确度达到了48.2%,比之前的RWKV-7World1.5B的44.8%有显著提升。
在“无法作弊的评测”(Uncheatable Eval)中,RWKV7-G11.5B的综合得分在同参数规模的开源模型中处于领先地位,超越了Qwen2.5-1.5B,仅次于参数更多的Qwen3-1.7B。这一评测使用最新的论文和新闻文章等实时数据,评估开源大语言模型的真实建模能力和泛化能力。
RWKV7-G11.5B模型支持全球100多种自然语言,比同参数量的Transformer模型更强。在多语言翻译任务中,该模型能够准确地将中文翻译为多种语言。此外,该模型还具备基础的代码能力,能够完成Leetcode题目,并在数学题目解答中表现出色。
为了方便用户体验,RWKV基金会提供了在线demo和移动端聊天APP。用户可以通过Hugging Face或魔搭社区的在线demo体验已完成训练的RWKV7-G10.1B、0.4B和1.5B模型。此外,还提供了处于内测阶段的RWKV端侧聊天APP,支持Android和iOS版本。
RWKV7-G11.5B模型的发布计划包括G10.1B、0.4B、1.5B和即将发布的2.9B模型。当前已发布的模型包括G10.1B、0.4B和1.5B,而G12.9B模型预计将在5月中旬发布。此外,RWKV基金会也在准备更大更优的数据集World v3.7,预计不久将开始训练RWKV7-G17B模型。
快速体验 G11.5B:https://huggingface.co/spaces/RWKV-Red-Team/RWKV-LatestSpace
以下是关于RWKV7-G1 1.5B全球语言推理模型的详细介绍:
模型概述
-
发布信息:2025年4月29日,RWKV基金会开源发布了RWKV7-G1 1.5B推理模型。
-
架构与特点:该模型是基于RWKV-7架构的推理模型,具有强大的推理能力和多语言支持,特别适合在端侧设备(如手机)上运行。它原生支持世界100多种语言和代码,即使是最小的0.1B模型也能回答开放性和创造性问题。
数据集与训练
-
数据集:模型基于World v3.5数据集训练,该数据集包含小说、网页、数学、代码和推理数据,总数据量达到5.16T tokens。
-
训练规模:该模型的参数规模为15亿,属于中等规模的模型。
性能表现
-
推理逻辑性:在推理逻辑性方面表现出色,能够完成多语言、数学和代码任务。
-
多语言能力:其英语和多语言能力显著强于同规模的开源模型,包括同期发布的Qwen3-1.7B-Base。在MMLU(Multilingual Mathematics Language Understanding)评测中,该模型的准确度达到了48.2%,比之前的RWKV-7 World 1.5B的44.8%有显著提升。
-
综合评测:在“无法作弊的评测”(Uncheatable Eval)中,RWKV7-G1 1.5B的综合得分在同参数规模的开源模型中处于领先地位,超越了Qwen2.5-1.5B,仅次于参数更多的Qwen3-1.7B。
-
代码能力:具备基础的代码能力,能够完成Leetcode题目,并在数学题目解答中表现出色。
应用与体验
-
在线体验:用户可以通过Hugging Face或魔搭社区的在线demo体验已完成训练的RWKV7-G1 0.1B、0.4B和1.5B模型。
-
移动端应用:此外,还提供了处于内测阶段的RWKV端侧聊天APP,支持Android和iOS版本。
发布计划与未来展望
-
已发布模型:当前已发布的模型包括G1 0.1B、0.4B和1.5B。
-
即将发布模型:G1 2.9B模型预计将在5月中旬发布。
-
更大模型计划:RWKV基金会也在准备更大更优的数据集World v3.7,预计不久将开始训练RWKV7-G1 7B模型。
适用场景
-
多语言翻译:能够准确地将中文翻译为多种语言。
-
代码生成:可以生成简单的代码,例如使用Python模拟SpaceX火星着陆。
-
数学解题:在数学题目解答中表现出色。
-
端侧设备应用:特别适合在手机等端侧设备上运行。
本网站(https://aigc.izzi.cn)刊载的所有内容,包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。除此以外,将本网站任何内容或服务用于其他用途时,须征得本网站及相关权利人的书面许可,并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。