全新的长文本处理开源模型Seed-OSS-36B由字节跳动推出
发布时间：2025-08-21 12:54:22 | 责任编辑：吴昊 | 浏览量：5 次
近日，字节跳动旗下的 Seed 团队在 AI 代码分享平台 Hugging Face 上发布了最新的开源大型语言模型 Seed-OSS-36B。这一新模型专注于高级推理和开发者友好性，其最大特点是支持长达512，000个 tokens 的输入文本处理，远超美国科技公司如 OpenAI 和 Anthropic 的产品。
Seed-OSS-36B 系列包括三个主要变体:Seed-OSS-36B-Base（含合成数据）、Seed-OSS-36B-Base(不含合成数据)和 Seed-OSS-36B-Instruct。合成数据版本在标准基准测试中表现更为出色，适合一般用途，而不含合成数据的版本则为研究提供了一个更加纯粹的基础。Seed-OSS-36B-Instruct 则专注于任务执行和指令跟随，经过后训练以优化表现。
所有模型均采用 Apache-2.0许可协议，意味着研究人员和开发者可以免费使用、修改和重新分发这些模型，不需支付字节跳动的许可费用。这标志着中国公司在开放源代码模型领域的又一次重要进展，同时也为国际应用提供了更多可能性。
Seed-OSS-36B 的设计和核心特征包括36亿个参数、64层架构和155，000个 tokens 的词汇量。该模型的长文本处理能力和推理预算设置，能够让开发者根据任务复杂性调整模型的推理深度。此外，该模型在多个基准测试中展现了优异的性能，例如，在数学和编程任务上取得了业界领先的成绩。
Seed 团队还特别关注模型的可访问性，用户可以通过 Hugging Face Transformers 进行部署，并支持4位和8位的量化格式以减少内存需求。此外，团队提供了推理、提示自定义和工具集成的脚本，进一步降低了小团队的操作门槛。
通过提供高性能和灵活部署的开放模型，字节跳动的 Seed 团队为企业、研究人员和开发者带来了新的选择。
huggingface:https://huggingface.co/collections/ByteDance-Seed/seed-oss-68a609f4201e788db05b5dcd
划重点:
🌟 Seed-OSS-36B 模型支持长达512，000个 tokens 的输入，超越竞争对手。
💡 模型分为合成数据和不含合成数据的版本，以适应不同用户需求。
🔧 所有模型均可免费使用，且支持多种部署和集成方案，便于开发者操作。
是的，就在今天（2025 年 8 月 21 日）深夜，字节跳动 Seed 团队正式发布了全新的开源长文本处理大模型 Seed-OSS-36B，并同步上线了完整仓库与 Hugging Face 页面。
模型亮点速览
| 关键信息 | 细节 |
|---|---|
| 模型规模 | 360 亿参数，12 T tokens 预训练语料 |
| 上下文长度 | 原生 512 k tokens，约等于 1600 页连续文本 |
| 发布形式 | 3 个版本：Base（含/不含合成数据）、Instruct（指令微调版），均以 Apache-2.0 许可证完全开源，可商用 |
| 技术创新 | 首次在 36 B 量级引入“推理预算（thinking budget）”机制，可按 512/1 K/2 K/4 K/8 K/16 K tokens 动态设定思考长度，兼顾成本与效果 |
基准成绩
| 任务 | 数据集 | 成绩 | 备注 |
|---|---|---|---|
| 数学推理 | AIME24 | 91.7 % | 开源 SOTA |
| 代码生成 | LiveCodeBench v6 | 67.4 | 开源 SOTA |
| 长文本理解 | RULER（128 k） | 94.6 | 开源 SOTA |
获取与使用
-
Hugging Face：https://huggingface.co/ByteDance-Seed/Seed-OSS-36B-Instruct
-
量化部署：官方已提供 4-bit / 8-bit 量化脚本，单张高端消费级 GPU 即可运行。
简单来说，Seed-OSS-36B 把 超长上下文、可控推理深度、完全开源 三大卖点一次性拉满，既可以直接商用，也方便学术研究。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
