新
Xinference
官网入口 GitHub
官网入口
国家/地区:中国🇨🇳
AI功能描述:开源模型推理与部署平台,统一管理大语言模型、嵌入模型与多模态模型的部署,并提供 OpenAI 兼容接口。
用户评分:
0分
说明: 官网入口 官方网站主页; IOS App Store 下载,支持 iPhone/iPad/Mac; 安卓 Google Play / 应用宝下载; 客户端 Mac/Windows/iOS/Android 官方下载; 插件 浏览器插件(默认 Chrome); GitHub / HuggingFace / ModelScope 模型或项目托管地址; API 模型/软件接口地址; MCP 官网的 MCP 栏目入口。 若未显示,表示暂无对应渠道,欢迎补充或纠错。
关注公众号
AIGC官网收录 │ 2026-09-29 │ 2 次 │ 人工核对 │ 官网认证 │ 定期更新 │ AI开发框架

Xinference 主要功能:

Ai大模型Ai语言模型LLM 大语言模型

Xinference 图文介绍:

Xinference是一款来自中国的AI 开发框架,开源模型推理与部署平台,统一管理大语言模型、嵌入模型与多模态模型的部署,并提供 OpenAI 兼容接口。

适合国内有私有化模型部署需求的企业团队。

主要功能:

  • 统一部署大语言模型、嵌入、重排与多模态模型
  • 提供 OpenAI 兼容 API,应用切换后端无需改代码
  • 支持多机多卡分布式推理与模型副本管理
  • 内置 Web 界面,可视化启动与监控模型
  • 兼容 GGUF、vLLM、Transformers 等多种推理后端

应用场景:

  • 企业内部统一管理多种开源模型服务
  • 在私有化环境中本地部署大模型
  • 做模型效果对比与技术选型评测
  • 把开源模型封装成稳定 API 供业务调用

平台兼容性:

Python / Docker / Kubernetes。

优缺点:

  • 优点:模型类型覆盖齐全
  • 优点:Web 界面友好易用
  • 优点:国产化适配较好
  • 不足:大规模集群调优需经验
  • 不足:部分文档中英混杂

费用价格:

开源免费;企业版按需报价。

©️版权声明:
本网站(AIGC官网)刊载的所有内容,包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。除此以外,将本网站任何内容或服务用于其他用途时,须征得本网站及相关权利人的书面许可,并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。

为此AIGC软件打分

平均评分 0 / 5. 打分人数: 0

暂无人打分!为此AI工具打分。

相关导航

最新Ai工具

热门AI推荐