OpenLLMetry 官网

OpenLLMetry 图文介绍：

OpenLLMetry是一款来自美国的AI 开发框架，基于 OpenTelemetry 的开源 LLM 可观测性方案，用统一标准采集模型调用链路，可直接接入现有监控告警体系。

适合已有运维监控体系的工程团队。

主要功能：

• 基于 OpenTelemetry 标准，兼容现有可观测性技术栈
• 自动埋点采集提示、响应、token 与延迟数据
• 支持主流模型服务与向量库、框架的自动追踪
• 可把数据发送到已有的监控与日志平台
• 开源 SDK 支持自托管采集，数据不出内网

应用场景：

• 已有监控体系、希望把模型调用统一纳入
• 排查线上模型调用的延迟与失败原因
• 统计各模型的 token 消耗与调用成本
• 为合规审计保留完整的调用记录

平台兼容性：

Python / JavaScript / Docker。

优缺点：

• 优点：标准协议不锁定厂商
• 优点：自动埋点接入快
• 优点：与现有监控打通
• 不足：需具备可观测性基础
• 不足：高级分析能力要付费版

费用价格：

开源免费；云平台按用量付费。