社区开发者 Rebel-Gloria 做了一款叫 PRTS 的 iPhone 和 iPad 应用,面向盲人和低视力用户。它的默认端侧视觉理解能力,由 MiniCPM-V 4.7 1B 驱动。

打开网易新闻 查看精彩图片

用法很直接:举起手机拍一张,听一段对周围环境的简短描述。这是 PRTS 的核心场景之一。

围绕这个核心,应用还铺开了几项能力:

  • 读文字:拍下标牌、告示或印刷页面,让应用念出来。
  • 追问细节:用语音输入,就当前画面里的内容继续提问。
  • 障碍引导:一套独立的激光雷达(LiDAR)系统,在支持的设备上提供语音方向和节奏性触觉提示。
  • 无障碍操作:支持 VoiceOver、动态字体、物理按键、轻点背面和 Siri 快捷指令等多种交互方式;另有专门的低视力模式,保留相机预览、场景描述和文字朗读。

联网这件事被拆开处理。日常的场景描述和文字朗读,靠内置的 MiniCPM-V 模型可以离线完成;可选的在线功能和系统语音识别,则有各自的联网要求。

一个 1B 规模的端侧模型,撑起的是拍照、听描述、读文字这条最常用的链路。对看不见屏幕的人来说,少一次联网等待,就少一层使用门槛。

项目已在 GitHub 开源,模型权重发布在 Hugging Face 上,开发者可以自行查看实现细节。