清华开源“赤兔Chitu”大模型引擎

发布时间：2025-03-17 10:23:48 | 责任编辑：字母汇 | 浏览量：98 次

清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智于2025年3月14日联合宣布，开源大模型推理引擎“赤兔Chitu”。

赤兔Chitu的主要特性：

• 多元算力适配：不仅支持NVIDIA最新旗舰到旧款的多系列产品，也为国产芯片提供优化支持。

• 全场景可伸缩：从纯CPU部署、单GPU部署到大规模集群部署，赤兔引擎提供可扩展的解决方案。

• 长期稳定运行：可应用于实际生产环境，稳定性足以承载并发业务流量。

性能优势：

在首期开源版本中，赤兔引擎在A800集群测试中，部署DeepSeek-R1-671B模型时，相比部分国外开源框架，GPU使用量减少50%，推理速度提升3.15倍。

开源信息：

赤兔Chitu现已在GitHub平台开源，开发者可通过以下链接获取更多信息并参与项目：github.com

赤兔Chitu的开源为国产AI芯片的广泛应用和生态建设带来了新的突破，降低了企业部署AI模型的门槛和成本。