BigScience 官网

BigScience 图文介绍：

BigScience 是一个由 Hugging Face 发起的开放科学项目，旨在通过全球协作推动大型多语言语言模型（LLM）的研究与开发。该项目汇聚了来自 60 个国家、250 多个机构的 1000 多名研究人员，致力于构建开放、透明且负责任的人工智能模型。

 项目概览

• 组织形式：BigScience 并非正式的法人实体，而是一个由 Hugging Face、法国国家高性能计算中心（GENCI）和法国国家科研计算研究所（IDRIS）联合发起的开放式协作组织。
• 项目周期：从 2021 年 5 月开始，为期一年。
• 核心目标：开发一个大型多语言神经网络语言模型和相应的多语言文本数据集，探索大模型的能力、局限性、社会影响、伦理问题等。

代表性成果：BLOOM 模型

BLOOM（BigScience Large Open-science Open-access Multilingual Language Model）是 BigScience 项目的旗舰成果之一。

• 参数规模：1760 亿个参数。
• 语言覆盖：支持 46 种自然语言和 13 种编程语言。
• 训练数据：使用 3500 亿个多语言数据词元进行训练。
• 训练平台：在法国巴黎附近的 Jean Zay 超级计算机上进行训练，历时 117 天。
• 开源许可：采用 RAIL（Responsible AI License）协议，强调模型的负责任使用，禁止用于生成虚假信息、仇恨言论等不当用途。

协作与开放

BigScience 项目强调开放协作，所有的研究成果、数据集、模型权重和代码均向公众开放，鼓励全球研究人员和开发者参与其中。

• 参与方式：通过 Notion 页面、Slack 社区等平台，研究人员可以加入不同的工作组，参与数据处理、模型训练、伦理审查等工作。
• 资源获取：项目的所有资源，包括模型、数据集、论文和代码，均可在官方网站和 Hugging Face 平台上获取。