在异常截图（NavError / Debug Screenshot）上自动标注当前 ROI / 探测点，提升调试效率

[syokounya]

Validations

• 我已经阅读了 用户文档 并尝试自己解决问题，同时在社群中进行了讨论
• 我无法找到任何 open issue 提出了相同的建议

问题描述

目前当脚本发生导航超时、像素匹配失败或模板未命中时，会自动保存原始截图（如 NavError_*.png、debug_screenshot.png）。然而这些截图仅仅是未经任何标注的游戏原图，开发者在事后排查时面临以下困难：

• 难以定位检测区域：代码中使用的是相对坐标（如 0.802, 0.389），需要手动换算到具体像素位置，才能在截图上找到程序“正在看哪里”。
• 动态区域无法直观判断：对于模板匹配（ImageChecker）或 OCR 裁切区域，失败时并不知道实际搜索的是屏幕的哪一块。
• 颜色误判无从考证：像素检测（PixelChecker）失败时，无法直接看到探测点处的真实颜色，经常需要再次跑 tools/pixel_marker.py 或 tools/debug_screenshot.py 去复测。

这导致很多“看一眼图就知道”的问题，反而需要花费大量时间在坐标换算和二次验证上。

解决方案

在截图保存前增加一层可选的可视化标注（Annotation Layer），将当前检测上下文绘制到图像上再落盘。

1. 扩展 save_image API

   为 autowsgr.infra.logger.save_image 增加一个可选参数 annotations，支持传入一组标注对象，例如：

   save_image(
       image=screen,
       tag='NavError',
       annotations=[
           PointAnnotation(x=0.802, y=0.389, color='red', label='challenge_probe'),
           RectAnnotation(x1=0.15, y1=0.05, x2=0.65, y2=0.10, color='green', label='tab_bar'),
           TextAnnotation(text="Expected: Color(33,132,226)", position='top-left'),
       ]
   )

2. 在核心视觉层自动收集 ROI

   • PixelChecker：当 check_pixel / check_signature 失败时，可返回失败的规则坐标，供上层绘制十字或圆点。
   • ImageChecker：模板匹配失败时，将搜索的 roi 以半透明矩形框标注出来。
   • NavigationError：wait_for_page / click_and_wait_for_page 超时保存截图时，如果调用方传入了 checker，尝试提取 checker 内部关联的像素规则或模板区域并一并绘制。

3. 统一标注规范（示例）

   • 探测点：红色十字 + 或圆点，附带坐标文本（适用于 PixelChecker 单点检测）
   • 矩形 ROI：绿色/黄色半透明边框（适用于模板匹配搜索区、OCR 裁切区）
   • 策略结果：左上角文字，标注期望颜色 vs 实际颜色（适用于像素匹配失败对比）
   • 页面状态：顶部横幅文字，标注当前识别到的页面或“未知”（适用于 NavigationError 场景）

4. 向后兼容

   • annotations 默认为 None，不传时行为与现在完全一致，不影响任何正常流程的性能。
   • 仅在 DEBUG 日志级别或显式开启调试模式时才自动附加详细标注，避免生产环境截图过大。

---

预期效果

拿到 NavError 截图后，能直接看到：

• 红色的探测点落在了哪里
• 绿色的模板搜索框覆盖了哪个区域
• 期望的颜色值和实际检测到的颜色值

从而将“坐标换算 -> 二次验证 -> 定位 Bug”的周期从十几分钟缩短到几秒钟。

[github-actions]

Issue 概要

• issue：#426（在异常截图（NavError / Debug Screenshot）上自动标注当前 ROI / 探测点，提升调试效率 #426）
• 版本 / 分支 / 环境：issue 未提供客户端/后端版本号与平台细节；当前仓库分析基线为 HEAD=3ab8c6e8ba201c266c6a6cfea9cc1dabcb2861b8（main）。
• 任务 / 入口 / 相关设置：导航超时（NavError）与调试截图（debug_screenshot）场景，涉及截图保存、像素签名检测、模板匹配 ROI。
• 关键提示 / 报错文案：用户关注“异常截图只有原图、缺少 ROI/探测点标注，排障成本高”。
• 用户现象：NavError_*.png、debug_screenshot.png 等截图未包含检测上下文（探测点、ROI、期望值/实际值）。

附件概览

• 实际可读文件：无（该 issue 为功能建议，未上传日志包、截图或崩溃转储）。
• 缺失或未上传的证据：无复现日志、无现场截图（但这不影响“是否存在该能力缺口”的代码层判断）。

关键证据

点击此处展开

• issue 正文 / 评论：
  • 正文明确要求在异常截图上自动标注 ROI/探测点。
  • 仅有一条 bot 评论，Workflow 仍在进行中（非技术结论）。
• 运行时日志：
  • 本 issue 未提供日志附件，无法建立“故障运行时”时间线；本次以静态代码链路为主。
• UI / 服务日志：
  • 无附件可读。
• 配置快照：
  • 无附件可读。
• 现场图 / 转储：
  • 无附件可读。
• 代码依据（远端行号）：
  • save_image 当前仅接收 image/tag/img_dir，直接写 PNG，没有“标注层”参数：

    AutoWSGR/autowsgr/infra/logger.py

    Lines 360 to 403 in 3ab8c6e

    	def save_image(
    	image: np.ndarray,
    	tag: str = 'screenshot',
    	img_dir: Path | None = None,
    	) -> Path | None:
    	"""将 RGB ndarray 截图保存到磁盘。
    	Parameters
    	----------
    	image:
    	RGB uint8 数组 (HxWx3)。
    	tag:
    	文件名前缀（不含扩展名）。
    	img_dir:
    	目标目录。为 *None* 时使用 :func:`setup_logger` 中设定的全局目录；
    	全局目录也为 None 则直接返回 None（不保存）。
    	Returns
    	-------
    	Path | None
    	保存的文件路径，未保存时返回 None。
    	"""
    	target_dir = str(img_dir or _image_dir)
    	target_dir = Path(target_dir)
    	if target_dir is None:
    	raise ValueError('未配置图片保存目录，请在 setup_logger 中设置 log_dir 并启用 save_images')
    	target_dir.mkdir(parents=True, exist_ok=True)
    	ts = _time.strftime('%H%M%S') + f'_{int(_time.monotonic() * 1000) % 1000:03d}'
    	filename = f'{tag}_{ts}.png'
    	path = target_dir / filename
    	# cv2.imwrite 期望 BGR 排列，而我们统一使用 RGB，写入前需转换
    	bgr = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)
    	# 使用 imencode + write_bytes 避免 OpenCV C 层 ANSI 路径导致中文乱码
    	ok, buf = cv2.imencode('.png', bgr)
    	if ok:
    	path.write_bytes(buf.tobytes())
    	logger.debug('截图已保存: {}', path)
    	else:
    	logger.warning('截图保存失败: {}', path)
    	return None
    	return path

  • NavigationError 仅在异常时调用 save_image(screen, tag='NavError')，无法注入 checker/ROI/像素规则上下文：

    AutoWSGR/autowsgr/ui/utils/navigation.py

    Lines 37 to 45 in 3ab8c6e

    	class NavigationError(Exception):
    	"""页面导航验证失败 - 超时未到达目标页面，或重试耗尽。"""
    	def __init__(self, msg: str = '', screen: np.ndarray | None = None) -> None:
    	if screen is not None:
    	from autowsgr.infra.logger import save_image
    	save_image(screen, tag='NavError')
    	super().__init__(msg)

  • wait_for_page 的 checker 类型是 Callable[[np.ndarray], bool]，接口层不保留可结构化调试元数据：

    AutoWSGR/autowsgr/ui/utils/navigation.py

    Lines 86 to 137 in 3ab8c6e

    	def wait_for_page(
    	ctrl: AndroidController,
    	checker: Callable[[np.ndarray], bool],
    	*,
    	timeout: float = DEFAULT_NAV_CONFIG.timeout,
    	interval: float = DEFAULT_NAV_CONFIG.interval,
    	handle_overlays: bool = True,
    	source: str = '',
    	target: str = '',
    	) -> np.ndarray:
    	"""反复截图，直到 ``checker`` 返回 ``True``。
    	内置浮层消除。遇到可消除浮层时立即处理并继续轮询（不计入睡眠延迟）。
    	Raises
    	------
    	NavigationError
    	超时仍未匹配。
    	"""
    	from autowsgr.ui.page import get_current_page
    	deadline = time.monotonic() + timeout
    	attempt = 0
    	_log.debug('[UI] 等待到达: {} -> {} (超时 {:.1f}s)', source or '?', target or '?', timeout)
    	while True:
    	attempt += 1
    	screen = ctrl.screenshot()
    	if checker(screen):
    	_log.debug(
    	'[UI] 已到达: {} -> {} (第 {} 次截图)', source or '?', target or '?', attempt
    	)
    	return screen
    	current = get_current_page(screen)
    	_log.debug(
    	'[UI] 等待 #{}: {} -> {}, 当前={}',
    	attempt,
    	source or '?',
    	target or '?',
    	current or '未知',
    	)
    	if time.monotonic() >= deadline:
    	msg = (
    	f'等待超时: {source or "?"} -> {target or "?"}, '
    	f'{attempt} 次截图后仍未到达, 当前: {current or "未知"}'
    	)
    	_log.error('[UI] {}', msg)
    	raise NavigationError(msg, screen=screen)

  • PixelChecker 具备 with_details 机制，理论上可拿到每条规则的期望/实际/距离，但默认不启用且未与 NavError 截图链路打通：

    AutoWSGR/autowsgr/vision/matcher.py

    Lines 112 to 220 in 3ab8c6e

    	def check_signature(
    	screen: np.ndarray,
    	signature: PixelSignature | CompositePixelSignature,
    	*,
    	with_details: bool = False,
    	) -> PixelMatchResult:
    	"""检查截图是否匹配一个像素签名。
    	支持单签名 (:class:`PixelSignature`) 和组合签名
    	(:class:`CompositePixelSignature`)。组合签名按 OR 逻辑
    	依次检查子签名，首个匹配即短路返回。
    	Parameters
    	----------
    	screen:
    	截图 (HxWx3, RGB)。
    	signature:
    	要检查的像素签名（单个或组合）。
    	with_details:
    	是否在结果中包含每条规则的详情（影响性能，调试用）。
    	"""
    	if isinstance(signature, CompositePixelSignature):
    	return PixelChecker._check_composite(
    	screen,
    	signature,
    	with_details=with_details,
    	)
    	details: list[PixelDetail] = []
    	matched_count = 0
    	for rule in signature.rules:
    	actual = PixelChecker.get_pixel(screen, rule.x, rule.y)
    	dist = actual.distance(rule.color)
    	is_match = dist <= rule.tolerance
    	if is_match:
    	matched_count += 1
    	if with_details:
    	details.append(
    	PixelDetail(rule=rule, actual=actual, distance=dist, matched=is_match)
    	)
    	_log.trace(
    	"[Matcher] '{}' [{:.4f},{:.4f}] 期望{} 实际{} 距离={:.1f} {}",
    	signature.name,
    	rule.x,
    	rule.y,
    	rule.color.as_rgb_tuple(),
    	actual.as_rgb_tuple(),
    	dist,
    	'OK' if is_match else f'FAIL(容差={rule.tolerance})',
    	)
    	# 短路优化
    	if signature.strategy == MatchStrategy.ALL and not is_match:
    	if not with_details:
    	_log.trace(
    	"[Matcher] '{}' FAIL 短路退出 - ALL 首次失败于 [{:.4f},{:.4f}]",
    	signature.name,
    	rule.x,
    	rule.y,
    	)
    	return PixelMatchResult(
    	matched=False,
    	signature_name=signature.name,
    	matched_count=matched_count,
    	total_count=len(signature),
    	)
    	elif signature.strategy == MatchStrategy.ANY and is_match and not with_details:
    	_log.trace(
    	"[Matcher] '{}' OK 短路退出 - ANY 首次成功于 [{:.4f},{:.4f}]",
    	signature.name,
    	rule.x,
    	rule.y,
    	)
    	return PixelMatchResult(
    	matched=True,
    	signature_name=signature.name,
    	matched_count=matched_count,
    	total_count=len(signature),
    	)
    	# 根据策略判定最终结果
    	total = len(signature)
    	match signature.strategy:
    	case MatchStrategy.ALL:
    	matched = matched_count == total
    	case MatchStrategy.ANY:
    	matched = matched_count > 0
    	case MatchStrategy.COUNT:
    	matched = matched_count >= signature.threshold
    	_log.debug(
    	"[Matcher] '{}' {} ({}/{} 规则匹配, 策略={})",
    	signature.name,
    	'OK' if matched else 'FAIL',
    	matched_count,
    	total,
    	signature.strategy.value,
    	)
    	return PixelMatchResult(
    	matched=matched,
    	signature_name=signature.name,
    	matched_count=matched_count,
    	total_count=total,
    	details=tuple(details) if with_details else (),
    	)

    、https://github.com/OpenWSGR/AutoWSGR/blob/3ab8c6e8ba201c266c6a6cfea9cc1dabcb2861b8/autowsgr/vision/pixel.py#L282-L317
  • ImageRule 有 roi 字段，但 ImageChecker 在失败时返回 None，默认不会产出“失败时搜索区域可视化”对象：

    AutoWSGR/autowsgr/vision/image_template.py

    Lines 218 to 252 in 3ab8c6e

    	@dataclass(frozen=True)
    	class ImageRule:
    	"""单条图像匹配规则。
    	将一个或多个模板图片与 ROI、置信度阈值组合，定义一条完整的匹配条件。
    	当提供多个模板时，任一模板匹配成功即视为规则匹配（OR 语义）。
    	Parameters
    	----------
    	name:
    	规则名称（用于日志和调试）。
    	templates:
    	模板列表，任一匹配即视为规则匹配。
    	roi:
    	搜索区域，默认全屏。
    	confidence:
    	匹配置信度阈值 (0.0-1.0)。
    	method:
    	OpenCV 模板匹配方法，默认 ``cv2.TM_CCOEFF_NORMED``。
    	Examples
    	--------
    	>>> rule = ImageRule(
    	... name="确认按钮",
    	... templates=[confirm_btn, confirm_btn_v2],
    	... roi=ROI(0.6, 0.7, 1.0, 1.0),
    	... confidence=0.85,
    	... )
    	"""
    	name: str
    	templates: tuple[ImageTemplate, ...] | list[ImageTemplate]
    	roi: ROI = field(default_factory=ROI.full)
    	confidence: float = 0.85
    	method: int = cv2.TM_CCOEFF_NORMED

    、

    AutoWSGR/autowsgr/vision/image_matcher.py

    Lines 109 to 167 in 3ab8c6e

    	def _match_single_template(
    	screen: np.ndarray,
    	template: ImageTemplate,
    	roi: ROI | None = None,
    	confidence: float = 0.85,
    	method: int = cv2.TM_CCOEFF_NORMED,
    	) -> ImageMatchDetail | None:
    	"""对单个模板执行匹配（内部方法）。
    	当截图分辨率与模板采集分辨率不同时，自动缩放模板。
    	"""
    	h, w = screen.shape[:2]
    	roi = roi or ROI.full()
    	cropped = roi.crop(screen)
    	ch, cw = cropped.shape[:2]
    	# 分辨率适配：按截图实际尺寸缩放模板（使用模板自身的采集分辨率）
    	tmpl_img = ImageChecker._scale_template_if_needed(
    	template.image,
    	w,
    	h,
    	source_resolution=template.source_resolution,
    	)
    	th, tw_ = tmpl_img.shape[:2]
    	if th > ch or tw_ > cw:
    	_log.trace(
    	"[ImageMatcher] 模板 '{}' ({}x{}) 大于搜索区域 ({}x{})，跳过",
    	template.name,
    	tw_,
    	th,
    	cw,
    	ch,
    	)
    	return None
    	screen_gray = cv2.cvtColor(cropped, cv2.COLOR_RGB2GRAY)
    	template_gray = cv2.cvtColor(tmpl_img, cv2.COLOR_RGB2GRAY)
    	result = cv2.matchTemplate(screen_gray, template_gray, method)
    	min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)
    	if method in (cv2.TM_SQDIFF, cv2.TM_SQDIFF_NORMED):
    	best_val = 1.0 - min_val if method == cv2.TM_SQDIFF_NORMED else min_val
    	best_loc = min_loc
    	else:
    	best_val = max_val
    	best_loc = max_loc
    	if best_val < confidence:
    	_log.trace(
    	"[ImageMatcher] 模板 '{}' 未匹配 (confidence={:.3f} < {:.3f})",
    	template.name,
    	best_val,
    	confidence,
    	)
    	return None

  • 仓库已有离线调试工具可画 ROI（tools/debug_screenshot.py），但它是独立工具流程，不在运行时异常截图链路：

    AutoWSGR/tools/debug_screenshot.py

    Lines 64 to 80 in 3ab8c6e

    	def _draw_roi(
    	screen: np.ndarray,
    	x1: float,
    	y1: float,
    	x2: float,
    	y2: float,
    	color: tuple[int, int, int] = (255, 0, 0),
    	label: str = '',
    	) -> np.ndarray:
    	vis = screen.copy()
    	h, w = vis.shape[:2]
    	cv2.rectangle(vis, (int(x1 * w), int(y1 * h)), (int(x2 * w), int(y2 * h)), color, 2)
    	if label:
    	cv2.putText(
    	vis, label, (int(x1 * w), int(y1 * h) - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.5, color, 1
    	)
    	return vis

    、

    AutoWSGR/tools/debug_screenshot.py

    Lines 139 to 158 in 3ab8c6e

    	def run_ocr_on_roi(
    	screen: np.ndarray,
    	roi: tuple[float, float, float, float],
    	allowlist: str = '',
    	out_dir: Path = DEFAULT_OUTPUT_DIR,
    	) -> None:
    	"""对指定 ROI 区域执行 OCR 测试。"""
    	from autowsgr.vision import EasyOCREngine
    	x1, y1, x2, y2 = roi
    	cropped = _crop(screen, x1, y1, x2, y2)
    	print(f'\nROI: ({x1:.3f}, {y1:.3f}, {x2:.3f}, {y2:.3f})')
    	print(f'裁切尺寸: {cropped.shape[1]}x{cropped.shape[0]}')
    	_save(cropped, 'roi_crop.png', out_dir)
    	enlarged = cv2.resize(cropped, None, fx=4, fy=4, interpolation=cv2.INTER_NEAREST)
    	_save(enlarged, 'roi_crop_4x.png', out_dir)
    	vis = _draw_roi(screen, x1, y1, x2, y2, label='ROI')
    	_save(vis, 'annotated.png', out_dir)

根因判断

• 直接结论：这是真实的能力缺口（feature gap），不是“用户误用”。
• 证据链：
  • 异常截图保存 API 没有标注参数；
  • 导航异常路径只传入原始 screen；
  • checker 抽象为 Callable -> bool，缺乏统一可提取的检测上下文；
  • 像素/模板检测虽有部分细节能力，但未接入异常截图输出。
• 当前主线是否可能已修复：按 main@3ab8c6e8 代码看尚未修复。

修复方案

1. 代码 / 配置 / 资源层修复
   1. 为 save_image 增加 annotations: Sequence[Annotation] | None 参数，默认 None 保持兼容。
   2. 在 infra 增加轻量标注模型与渲染器（Point/Rect/Text），统一在保存前渲染到副本图像。
   3. 给 wait_for_page / click_and_wait_for_page 增加可选 debug_context（或 annotation_provider）参数，超时时将 checker 上下文转标注。
   4. 像素链路：在失败场景启用 with_details=True，提取失败规则坐标、期望/实际色值用于点标注+文本。
   5. 模板链路：在失败结果中回传 roi 与 best score（即使未达阈值），用于绘制搜索区域与置信度文本。
   6. 增加配置开关（如 log.annotate_debug_screenshots），默认关闭，仅 DEBUG 或显式开启时启用。
2. 需要补充的测试、日志或截图
   1. 单测：annotation 渲染坐标换算（相对坐标→像素）与边界裁剪。
   2. 集成测试：NavigationError 触发后截图存在预期图层（至少 1 点 + 1 ROI + 1 文本）。
   3. 回归测试：annotations=None 时输出与现行为一致（尺寸/性能/文件命名不变）。
3. 如问题属于不支持场景，应如何限制入口或改进提示
   1. 对“匿名 lambda checker 无上下文”场景，记录日志提示“未提供可标注上下文，已保存原图”。
   2. 明确文档：仅结构化 checker（或传入 debug_context）可自动产出标注。

给用户的建议

• 用户现在可以直接尝试的动作：短期继续用 tools/debug_screenshot.py / tools/pixel_marker.py 做二次定位；当前运行时异常截图链路尚不支持自动标注。
• 是否建议升级 / 重下完整包 / 重置配置 / 更换环境：本 issue 属于功能缺失，不是环境损坏；升级仅在该功能合并后才有意义。
• 是否有临时绕过方案：在关键导航点手动保存 debug 截图并叠加 ROI（工具链已具备），可降低排查成本。

给修复 AI 的建议（可复制）

点击此处展开

现象：
NavError / debug_screenshot 产物只有原图，没有 ROI/探测点/期望-实际色值，定位失败原因成本高。

关键证据：
- save_image 仅支持 image/tag/img_dir，不支持 annotations
- NavigationError 只调用 save_image(screen, tag='NavError')
- wait_for_page checker 是 Callable[[ndarray], bool]，无法统一抽取调试上下文
- PixelChecker 有 with_details，但未接入异常截图链路
- ImageRule 有 roi，但模板失败时没有统一返回可视化信息

可能相关线索（待验证）：
1) 在 infra/logger.py 增加 Annotation 数据模型与渲染入口
2) 在 ui/utils/navigation.py 的超时异常分支接入 debug_context -> annotations
3) 在 vision 层补充“失败诊断结果对象”（至少包含失败规则、ROI、best score）
4) 用配置开关控制是否自动标注，默认关闭保证兼容与性能

置信度

• 高
• 还缺什么证据：若要评估“标注对实际问题定位提速幅度”，仍需真实失败截图与日志进行 A/B 对比（功能存在性判断本身不受影响）。

---

点击此处展开分析过程

● skill(generic-issue-log-analysis)

先抓取仓库与 issue 元数据，然后读取 #426 正文和评论，再按证据补充代码定位并写入 copilot_answer.md。

● Get repo remote and HEAD (shell)
│ git config --get remote.origin.url && git rev-parse HEAD
└ 3 lines...

● Get issue details (MCP: github-mcp-server) · method: "get_comments", owner: "OpenWSGR", repo: "Au…
└ [{"id":4230914474,"body":"🤖 AI 正在分析该 Issue... \n\n感谢您的反馈！AI
正在自动分析该问题，预...

● Get issue details (MCP: github-mcp-server) · method: "get_labels", owner: "OpenWSGR", repo: "Auto…
└ {"labels":[],"totalCount":0}

● Get issue details (MCP: github-mcp-server) · method: "get", owner: "OpenWSGR", repo: "AutoWSGR", …
└ {"number":426,"title":"在异常截图（NavError / Debug Screenshot）上自动标注当前 ROI /
探测点，提升...

● Search (grep)
│ "class PixelChecker|def check_pixel|check_signature|class ImageChecker|roi" in **/*.py
│ (autowsgr)
└ 216 lines found

● Search (grep)
│ "def save_image|save_image(" in **/*.py
└ 5 lines found

● Search (grep)
│ "NavigationError|wait_for_page|click_and_wait_for_page|debug_screenshot|NavError" in **/*.py
│ (autowsgr)
└ 154 lines found

● Read logger.py
│ autowsgr/infra/logger.py
└ L300:520 (104 lines read)

● Read navigation.py
│ autowsgr/ui/utils/navigation.py
└ L1:240 (240 lines read)

● Read matcher.py
│ autowsgr/vision/matcher.py
└ L1:220 (220 lines read)

● Read image_matcher.py
│ autowsgr/vision/image_matcher.py
└ L1:260 (260 lines read)

● Read navigation.py
│ autowsgr/ui/utils/navigation.py
└ L240:420 (129 lines read)

● Search (glob)
│ "tools/**/*.py"
└ 5 files found

● Search (grep)
│ "pixel_marker|debug_screenshot|annotations|annotat|draw|cv2.circle|cv2.rectangle" in **/*.py
│ (tools)
└ 38 lines found

● Search (grep)
│ "save_image(" in **/*.py (autowsgr)
└ 4 lines found

● Read debug_screenshot.py
│ tools/debug_screenshot.py
└ L1:260 (240 lines read)

● Read pixel_marker.py
│ tools/pixel_marker.py
└ L520:700 (181 lines read)

● Read pixel.py
│ autowsgr/vision/pixel.py
└ L1:320 (316 lines read)

● Read image_template.py
│ autowsgr/vision/image_template.py
└ L200:360 (95 lines read)

● Read image_template.py
│ autowsgr/vision/image_template.py
└ L1:220 (220 lines read)

● Search (grep)
│ "with_details\s*=\s*True|check_signature(.with_details" in **/.py (autowsgr)
└ 2 lines found

● Read matcher.py
│ autowsgr/vision/matcher.py
└ L220:340 (121 lines read)

● Search (grep)
│ "t(|i18n|LocalizationHelper|GetString(|DynamicResource|StaticResource" in
│ **/*.{py,ts,js,json,yaml,yml,toml,resx,xaml} (autowsgr)
└ 100 files found

● Search (glob)
│ "**/{locale,locales,i18n,lang,langs,translations,messages}"
└ No matches found

● Search (grep)
│ "NavError|debug_screenshot|pixel_marker|截图|save_image" (README.md)
└ No matches found

● Search (grep)
│ "NavError|debug_screenshot|pixel_marker|save_image" in **/*.{md,py,yaml,yml} (docs)
└ 14 lines found

● Read infra.md
│ docs/architecture/infra.md
└ L1:120 (120 lines read)

● Read vision.md
│ docs/architecture/vision.md
└ L240:330 (58 lines read)

● Read test_pkg.md
│ docs/developer/test_pkg.md
└ L170:230 (54 lines read)

● Get details of GitHub Actions resources (workflows, workflow runs, jobs, and artifacts) (MCP: git…
└ {"id":24300481079,"name":"AI Issue Analysis","node_id":"WFR_kwLOHhoLA88AAAAFq...

● List GitHub Actions workflows in a repository (MCP: github-mcp-server) · method: "list_workflow_j…
└ {"jobs":{"total_count":1,"jobs":[{"id":70952858768,"run_id":24300481079,"run_...

● Search (glob)
│ "copilot_answer.md"
└ No matches found

我已经完成证据整理，接下来把结构化结论直接落到 copilot_answer.md。

● Edit
└ Create copilot_answer.md

● Read copilot_answer.md
└ L1:260 (99 lines read)

● Check modified files (shell)
│ git --no-pager status --short
└ 2 lines...

已完成分析，结论已写入 copilot_answer.md。

核心判断是：Issue #426 反映的是已证实的能力缺口（不是误用），当前主线在 save_image、NavigationError、wait_for_page 与视觉检测结果透传链路上都缺少“可结构化标注上下文”，因此异常截图默认只能落原图。文档里同时给出了证据链接、修复方案分层建议、临时绕过方案和可复制给修复 AI 的提示文本。

Changes +100 -0
Requests 1 Premium (1m 57s)
Tokens ↑ 1.0m • ↓ 7.0k • 960.0k (cached) • 2.8k (reasoning)

🔗 GitHub Action 运行记录

[kuainx]

请Opus大师出马