商汤推出开源NEO框架：革新性多模态模型摒弃传统拼凑设计，数据需求骤降90%依然领先业界

发布时间：2025-12-03 10:45:58 | 责任编辑：张毅 | 浏览量：5 次

商汤科技联合南洋理工大学 S-Lab 发布行业首个原生多模态架构 NEO，并同步开源2B 与9B 两款模型。新架构摒弃“视觉编码器 + 投影器 + 语言模型”的传统三段式方案，从注意力机制、位置编码到语义映射全部重写，官方称在同等性能下数据需求仅为业界平均的1/10，首次实现“像素到 Token”的连续映射。
据商汤技术负责人介绍，NEO 通过原生图块嵌入层直接读取像素，取消独立图像 Tokenizer;三维旋转位置编码（Native-RoPE）在同一向量空间内同时表达文本与视觉时空频率;多头注意力采用“视觉双向 + 文本自回归”混合计算，空间结构关联得分提升24%。实测显示，在0.6B-8B 参数区间内，NEO 在 ImageNet、COCO 与 Kinetics-400上取得 SOTA，边缘设备推理延迟低于80毫秒。
GitHub 已公开模型权重与训练脚本，商汤计划明年第一季度开源3D 感知与视频理解版本。业内人士认为，NEO 的“深层融合”路线有望结束多模态“拼积木”时代，为终端小模型提供新的性能基线。