Skip to content

feat(vom): support screenshot-bound point interactions on canvas regions | 支持基于截图坐标的 canvas 点选操作 - #220

Open
Ljy-0827 wants to merge 2 commits into
feat/canvas-observationfrom
feat/canvas-point-interaction
Open

feat(vom): support screenshot-bound point interactions on canvas regions | 支持基于截图坐标的 canvas 点选操作#220
Ljy-0827 wants to merge 2 commits into
feat/canvas-observationfrom
feat/canvas-point-interaction

Conversation

@Ljy-0827

Copy link
Copy Markdown
Collaborator

背景

现有观察链路已支持发现 Canvas、输出 visual ref 并按需截图,但 Agent 尚不能根据截图操作 Canvas 内部区域。
本 PR 补齐截图到点选的链路,使 Agent 能根据图片定位单元格等目标,完成点击,并继续通过语义观察操作新出现的 DOM 控件。

主要改动

  • Canvas 截图在坐标映射有效时返回 capture_id,支持使用原始图片坐标执行单击、双击、右键及修饰键组合。
  • 复用现有目标与 frame 路径校验,点击前检查 Canvas 身份、坐标映射和实际命中目标,支持 iframe 内的 Canvas。
  • 截图凭证采用单次使用机制;过期、引用更新或目标变化后拒绝执行,提示重新观察和截图。
  • 同步扩展协议、CLI、插件及 Skill 使用说明。

行为边界

  • observe 保持现有 Canvas 条目形式,不自动截图或识别内部内容。
  • 点击校验针对目标身份、几何与命中关系,允许 Canvas 内容正常重绘。
  • 操作结果需通过后续观察或截图确认;本 PR 不包含 OCR、拖拽或 Canvas 内部编辑能力。

验证

  • 扩展、CLI 与插件相关自动化测试、类型检查及构建通过。
  • 真实浏览器验证顶层、同源及跨域 iframe Canvas 点选和双击。
  • 验证圆角外、遮挡、位置变化及失效凭证会拒绝执行。
  • 真实页面验证单元格点选、右键菜单展开,以及后续通过 observe 获取菜单 DOM ref。

@Ljy-0827
Ljy-0827 added this pull request to stack #210 September 10, 2026 09:22
@Ljy-0827
Ljy-0827 force-pushed the feat/canvas-point-interaction branch from 1c6d2f1 to 997997d Compare September 10, 2026 11:03
@Ljy-0827
Ljy-0827 marked this pull request as ready for review September 10, 2026 11:10
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant