Meta 发布 CATransformers 框架，助推AI领域达成碳减排愿景

Meta 推出了 CATransformers 框架，这是一个碳感知的机器学习框架，旨在助力 AI 行业实现减排目标。以下是该框架的相关介绍：

研发背景

• 随着机器学习系统在推荐引擎、自动驾驶等众多应用中的广泛应用，其环境可持续性问题日益凸显。这些系统在训练和推理阶段需要大量的计算资源，通常运行在定制的硬件加速器上，能源需求巨大，导致运营碳排放增加。同时，硬件本身的制造、材料和生命周期操作也会产生环境负担，即所谓的“体现碳”。

• 现有减少机器学习系统碳影响的策略较为分散，大多数方法侧重于提高运营效率，减少训练和推理过程中的能源消耗，或提高硬件利用率，但很少有方法同时考虑硬件运行时的碳排放以及硬件设计和制造过程中的碳排放。

框架介绍

• 协同优化：CATransformers 框架将碳作为主要设计考虑因素，允许研究人员通过联合评估模型架构和硬件加速器的性能来实现碳指标的协同优化。该框架针对边缘推理设备，因为这些设备在硬件限制下需要同时控制体现碳和运营碳。

• 多目标贝叶斯优化引擎：与传统方法不同，CATransformers 使用多目标贝叶斯优化引擎进行早期设计空间探索，评估延迟、能源消耗、准确性以及总碳足迹之间的权衡。这种双重考虑使得模型配置能够在不牺牲模型质量或响应性的情况下减少排放。

• 模块架构：该框架的核心功能在于其三模块架构，包括一个多目标优化器、一个 ML 模型评估器和一个硬件估计器。模型评估器通过修剪大型基础 CLIP 模型来生成模型变体，改变层数、前馈网络大小、注意力头和嵌入宽度等维度。这些修剪后的版本随后传递给硬件估计器，后者使用分析工具来估计每种配置的延迟、能源使用量和总碳排放量。优化器则通过平衡所有指标来选择表现最佳的设置。

实际成果

• CarbonCLIP 模型家族：CATransformers 的实际输出是 CarbonCLIP 模型家族，与现有的小型 CLIP 基线相比，取得了显著的改进。例如，CarbonCLIP-S 的准确性与 TinyCLIP-39M 相同，但总碳排放量减少了 17%，并且延迟保持在 15 毫秒以下。更紧凑的 CarbonCLIP-XS 在准确性上比 TinyCLIP-8M 提高了 8%，同时减少了 3% 的排放，并确保延迟低于 10 毫秒。

• 优化对比：仅针对延迟进行优化的配置，其硬件需求通常会翻倍，从而导致体现碳显著增加。相比之下，针对碳和延迟进行优化的配置实现了 19-20% 的总排放量减少，且几乎没有延迟权衡。

意义与展望

• CATransformers 为构建环保型 AI 系统提供了一条实际路径，通过从一开始就将模型设计与硬件能力对齐，并考虑碳影响，研究人员证明了可以做出更智能的选择，这些选择不仅仅是追求速度或能源节省，而是真正减少排放。

• 该框架为可持续机器学习系统设计奠定了基础，将环境指标嵌入到优化流程中。随着 AI 在各行业的持续扩展，像 CATransformers 这样的工具将帮助开发者重新思考性能与可持续性如何齐头并进。