苹果与哥伦比亚大学共创AI导航助手SceneScout，为视障者提供街景指引
发布时间：2025-07-08 12:46:34 | 责任编辑：吴昊 | 浏览量：18 次
近日，苹果公司与哥伦比亚大学的研究团队共同开发了一款名为 SceneScout 的人工智能原型系统。这一系统旨在为盲人及低视力群体（BLV）提供街景导航的辅助功能，帮助他们更好地进行日常出行。
SceneScout 系统通过结合苹果地图（Apple Maps）API 与多模态大语言模型(基于 GPT-4o 内核)，生成个性化的环境描述。这一创新的技术使得用户能够获得更加直观和具体的导航信息，从而提升他们的出行体验。相关的研究论文已经在预印平台 arXiv 上发表，尽管尚未经过同行评审。
该系统的核心功能包括两大部分:首先是路线预览（Route Preview）。通过这一功能，用户能够预判行程中的道路状况，例如人行道的质量、交叉口的特征以及附近公交站的情况等。这些信息对于盲人用户而言，尤其重要，可以帮助他们在出行时提前了解周围环境。
其次是虚拟探索（Virtual Exploration）功能。该功能允许用户根据自己的需求进行开放场景的探索。例如，用户可以询问系统 “临近公园的安静居住区”，系统则会根据用户的需求提供相应的方向指引。SceneScout 通过模拟行人的视角解读可见内容，并生成结构化的文本信息，支持短、中、长不同格式的输出，能够适配多种读屏软件，方便盲人用户阅读。
在测试阶段，SceneScout 招募了10名视障用户进行使用，这些用户大多具有科技行业的背景。测试结果显示，72% 的 AI 生成描述被认为是准确的。而在虚拟探索模式中，用户反馈非常积极，称这一功能可以有效替代传统的信息获取方式，为他们的日常出行带来了极大的便利。
划重点:
🌍 苹果与哥伦比亚大学共同开发的 SceneScout 系统为盲人用户提供街景导航辅助。
📊 该系统结合 Apple Maps API 与多模态大语言模型，生成个性化环境描述。
👥 测试显示72% 的 AI 生成描述准确，虚拟探索功能受到用户高度评价。
苹果公司与哥伦比亚大学联合开发了一款名为 SceneScout 的人工智能原型系统，旨在为盲人及低视力群体（BLV）提供街景导航辅助。该系统结合了苹果地图（Apple Maps）API 和基于 GPT-4o 内核的多模态大语言模型，能够生成个性化的环境描述。
系统功能
SceneScout 的核心功能包括：
-
路线预览（Route Preview）：用户可以提前了解行程中的道路状况，例如人行道的质量、交叉口的特征以及附近公交站的情况。
-
虚拟探索（Virtual Exploration）：用户可以根据自己的需求进行开放场景的探索，例如询问“临近公园的安静居住区”，系统会提供相应的方向指引。
技术特点
-
多模态大语言模型：系统通过模拟行人的视角解读可见内容，并生成结构化的文本信息，支持短、中、长不同格式的输出，能够适配多种读屏软件。
-
高准确率：在测试阶段，72% 的 AI 生成描述被认为是准确的。
用户反馈
在测试阶段，SceneScout 招募了10名视障用户进行使用，这些用户大多具有科技行业的背景。测试结果显示，虚拟探索模式获得了高度评价，用户称其可以有效替代传统的信息获取方式。
未来展望
随着AI技术的不断演进，SceneScout 这样的应用将会越来越普遍。未来，AI的自适应学习能力将使得此类系统能够根据用户的使用习惯和偏好，进行个性化的调整和优化。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
