Liquid AI 发布 LFM2-VL 模型,使手机具备「紧凑且敏捷」的AI 视觉与语言功能
发布时间:2025-09-03 11:52:06 | 责任编辑:张毅 | 浏览量:17 次
Liquid AI 最新发布了 LFM2-VL 系列视觉语言基础模型(Vision-Language Foundation Models),这标志着多模态 AI 正朝着「精简、快速、可部署在设备端」的方向加速发展。
这两款型号分别是 LFM2-VL-450M 和 LFM2-VL-1.6B,前者专为资源受限的硬件环境设计,参数量不足5亿;后者虽参数更多但依旧轻量,适合单个 GPU 或设备直接部署。
LFM2-VL 扩展自 Liquid AI 之前推出的 LFM2架构,整合了视觉与语言处理能力,支持多分辨率的图片输入,可处理文本与图像,具有极佳的灵活性与兼容性 (liquid.ai, Venturebeat)。模型在 GPU 推理速度上实现了高达「两倍」的提升,并且在常见性能评测中表现不凡 (Venturebeat, liquid.ai)。
在图像处理方面,LFM2-VL 能以原始分辨率(最高512×512)输入图像,避免因强制缩放带来的失真问题。对于更大尺寸图像,模型会采用非重叠切片方式处理,并配合缩略图以获取全局语境信息 (Venturebeat, liquid.ai)。其架构由语言模型主干、SigLIP2NaFlex 视觉编码器与一个多模态投影器构成。投影器使用两层 MLP(带 pixel unshuffle 技术)来减少图像 token 数量,从而提升处理速度 (Venturebeat, liquid.ai)。
训练数据方面,LFM2-VL 涉及约1,000亿多模态训练 token,来源包括开源数据集与公司自有合成图像数据 (Venturebeat, liquid.ai)。评测结果显示,LFM2-VL-1.6B 在 RealWorldQA(65.23)、InfoVQA(58.68)、OCRBench(742)等任务中成绩优异,同时在推理效率上领先于同类模型 (Venturebeat, liquid.ai)。
目前,这些模型已在 Hugging Face 发布,并附有在 Colab 上的微调示例代码,兼容 Hugging Face Transformers 与 TRL 库。它们采用了一种基于 Apache2.0原则的新“LFM1.0授权协议”,允许学术使用,年收入低于1,000万美元的公司可用于商业,而年营收更高的企业则需联系 Liquid AI 获取授权 (Venturebeat, liquid.ai)。
Liquid AI 的 LFM2-VL 模型组合为视觉与文本融合 AI 在设备端部署提供了新的路径,尤其适合手机、笔记本、可穿戴设备等场景,有助于降低对云端依赖,提升隐私与响应速度。
项目:https://huggingface.co/LiquidAI/LFM2-VL-1.6B
划重点:
🆕 两种型号设计:LFM2-VL-450M(极简资源环境适用)和 LFM2-VL-1.6B(更强但依然轻量),适配设备端部署。
速度与效率兼顾:GPU 推理速度高达2倍提升,同时具备优秀的多模态任务表现。
多平台友好环境:已发布在 Hugging Face,提供授权选项,兼容主流开发工具,适合学术与中小企业商业用途。
。
核心亮点
-
两种高效版本:
-
LFM2-VL-450M(4.5 亿参数):专为资源受限的环境设计,适合智能手表、物联网节点等极低算力设备
。
-
LFM2-VL-1.6B(16 亿参数):性能更强,但仍保持轻量化,适合单 GPU 或高端移动设备部署
。
-
-
性能与效率兼备:
-
GPU 推理速度提升两倍,在同类视觉语言模型中表现突出
。
-
支持 原生 512×512 像素图像输入,避免图像失真,较大图像采用非重叠切片处理,兼顾细节与全局语境
。
-
-
技术创新:
-
采用 模块化架构,结合语言模型主干、SigLIP2 NaFlex 视觉编码器与多模态投影器,使用“像素解混”技术减少图像 Token 数量,提升处理速度
。
-
基于 线性输入变化(LIV)系统,可根据输入实时生成模型权重,减少冗余计算
。
-
-
开源与商业应用:
-
模型已在 Hugging Face 开源,提供微调示例代码,兼容主流开发工具
。
-
采用 LFM1.0 授权协议,允许学术使用,年收入低于 1000 万美元的公司可商业使用
。
-
实际应用场景
。
基准测试表现
-
LFM2-VL-1.6B 在 RealWorldQA(65.23)、InfoVQA(58.68)、OCRBench(742)等基准测试中表现优异
。
。
本网站(https://aigc.izzi.cn)刊载的所有内容,包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。除此以外,将本网站任何内容或服务用于其他用途时,须征得本网站及相关权利人的书面许可,并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。