AI Pulse

盲人用户用键盘或语音在室内探街,这工具只讲布局不讲当下

盲人和低视力用户可以用键盘或语音,先在室内看一遍要去的街道。这是 StreetReaderAI 做的事,项目由华盛顿大学 Makeability Lab 开源发布。

交互只有两种:键盘快捷键或语音。它做三件事——描述画面里有什么,播报前方交叉路口,回答关于当前视野的问题。问题可以很具体,比如这个路口能不能看到路缘坡道。

出行前的准备,有一部分可以挪到室内完成。想弄清哪条街有坡道、哪个路口是几条路交汇,不用到了现场才发现。

技术上的取舍

默认数据源是 Panoramax 街景影像加 OpenStreetMap。描述文本交给 Gemini 或 OpenAI 生成,模型供应商可以换。代码是 Apache 2.0 许可证。部署有两条路:AI Studio 导入,或者在本地 Node.js 环境搭一套。

开放的街景和地图数据、可切换的模型供应商,意味着不会被一家厂商或一个地区锁死。反过来,效果取决于当地有没有 Panoramax 覆盖。目前覆盖了哪些城市和国家,没有明确说明;没有覆盖的地方,这个工具基本用不上。

它回答的是布局,不是当下

官方定位写得很直白:实验性研究原型,不是生产级导航辅助工具。原文把两件事分得很开。从影像里学习一条街的布局,是一件事;知道此刻过街是否安全,是另一件事。

街景是快照。一张过时的全景图看起来可以毫无异样,真实的街角可能正在施工,或者坡道已经拆了。把它当成实时导航用,风险最后落在真实路口。

社区的建议还没有落地

讨论里出现了几条具体建议。一条是用 OpenStreetMap 的结构化标签交叉核对模型的说法。这些标签包括 crossings、kerbs、tactile paving。两个来源不一致时,把分歧直接摆给用户看,而不是悄悄选一个相信。另一条是给每段描述附上全景图的拍摄日期,让人自己判断该信几分,施工区域附近尤其需要。界面同时显示拍摄日期和来源。模型描述与 OSM 的路缘或路口标签冲突时,界面给出提示。这也是同一个方向。

这些目前只是评论者提出的建议,看不出已经实现。

README 里的设计选择方向一致:描述永久性地标,而不是过往交通。车流一直在变,地标相对稳定,更适合用来记路。拍摄日期标注还停在建议层面。过时的街景最难被察觉,恰恰在这里:错误的描述和正确的描述读起来一样自信。

谁做的

项目出自华盛顿大学 Makeability Lab。代码托管在 GitHub 的 research-ground/streetreaderAI 仓库。公开可查,也能自己部署验证。它不是商业产品,是实验性研究原型,功能和稳定性都还在研究阶段。

语音交互支持哪些语言、本地部署要不要自备 API 密钥并产生费用、后续有没有接入实时数据的路线图,目前都不清楚。

关键事实

阅读原文
📚 相关主题 开源

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新