苹果创建AI助手，辅助视障人士虚拟游览街道
发布时间：2025-07-08 10:46:36 | 责任编辑：吴昊 | 浏览量：5 次
苹果公司近期在其机器学习研究中心发布了一篇论文，介绍了一款名为 SceneScout 的人工智能代理。该技术旨在通过分析街景图像，为视障人士提供详细的环境描述，从而帮助他们在前往新的地点之前提前了解周围的地形。
目前，许多视障人士在独立出行时常常感到犹豫，因为他们不清楚陌生环境中的具体情况。尽管已有一些工具如微软的 Soundscape 应用，能够提供现场环境的描述，但这些工具主要是在用户现场使用时进行的，而非提前准备。因此，视障人士在出行前所获得的地标和导航信息，往往无法满足他们对环境背景的需求。SceneScout 的诞生正是为了填补这一空白。
SceneScout 是一款由多模态大型语言模型驱动的 AI 代理，具有两种主要功能模式。其中，“路线预览” 模式能够提供关于沿途可见元素的详细描述，比如提醒用户在转弯处注意路旁的树木等触觉元素。而 “虚拟探索” 模式则允许用户在街景图像中自由移动，获取更直观的环境信息。
在用户研究中，参与者表示 SceneScout 极大提升了他们对环境的认知，因为这款 AI 能够获取他们无法通过现有工具获取的信息。该研究表明，SceneScout 的描述准确率高达72%，对于稳定的视觉元素，准确率更是高达95%。然而，参与者也提出了一些改进建议，比如提供个性化的描述，或者将描述的视角调整至更符合行人的位置。
此外，参与者希望 SceneScout 能够实时提供街景描述，以便与他们的行走位置同步，甚至可以通过骨传导耳机在用户移动时提供视觉信息。利用设备中的陀螺仪和指南针，SceneScout 还可以指向环境中的细节，进一步提升使用体验。
虽然这篇论文并不代表苹果一定会推出相关产品或服务，但它为我们提供了一个了解苹果在这项技术应用方面的视角。未来，结合 AI 和实时数据，苹果或许能够为视障人士创造出更多便利的工具。
划重点:
🌍 SceneScout 是一款 AI 代理，旨在为视障人士提供详细的环境描述，帮助他们提前了解陌生地点的地形。
🔍 该技术具有 “路线预览” 和 “虚拟探索” 两种模式，可以根据街景图像提供环境信息。
📈 用户研究表明，SceneScout 在描述的准确性上表现良好，并提出了一些个性化和实时反馈的改进建议。
苹果公司与哥伦比亚大学的研究团队合作开发了一项名为 SceneScout 的 AI 原型系统，旨在帮助盲人及低视力群体（BLV）通过虚拟方式探索街景。
系统功能
-
路线预览（Route Preview）：SceneScout 可以预判行程中的道路状况，包括人行道质量、交叉口、公交站特征等，为视障用户提供详细的路线信息。
-
虚拟探索（Virtual Exploration）：该系统可以根据用户的特定需求（如“临近公园的安静居住区”）提供方向指引，并通过模拟行人的视角，解读可见内容。
技术原理
SceneScout 结合了苹果地图（Apple Maps）API 与多模态大语言模型（基于 GPT-4o 内核），能够生成定制化的环境描述。它通过结构化文本输出（短、中、长三种长度），适配读屏软件，帮助视障用户更好地理解周围环境。
测试结果
在测试阶段，SceneScout 招募了 10 名视障用户（大多具备科技行业背景）。测试结果显示：
-
72% 的 AI 生成描述被认定为准确。
-
虚拟探索模式获得了高度评价，用户认为它可以替代传统的信息获取方式。
意义
这一技术为视障用户提供了更便捷、更直观的导航体验，帮助他们更好地了解和规划出行路线，同时也展示了苹果在无障碍技术领域的创新和努力。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
