用本地 OCR 标签选择桌面点击目标

作者将端侧界面检测、OCR 与 Jev 组合成 Mac 操作循环。演示可见按钮覆盖框和动作候选，并在创建服务器等界面中进入后续步骤。

Jev 在电脑操作上确实可以做得很好。不使用截图或其他 LLM，也不把像素传出我的 Mac。我甚至不读取 DOM 元素。本地 CoreML 模型分割屏幕上的按钮和 UI 元素。端侧 OCR 读取标签。Jev 收到的只有这些文字。它返回这些元素的概率，并告诉我最适合点击哪一个。然后点击、再次检测、再次判断，循环直到目标完成。作者称每次决策约 90 毫秒，比尝试过的 LLM 电脑操作更快。 @typesafeai 正在做很有意思的事情。