从录制素材生成图像识别动作¶
本教程先录制一段操作和画面,再把动作片段中的坐标改为图像识别位置。编辑器会从主预览轨找到该坐标对应时刻的图像或视频帧,裁出模板并加入根蓝图资源池。
前置条件¶
- 已创建宏节点并进入宏编辑器。
- 已设置正确的画布分辨率。
- 已准备安全的测试目标;使用 ADB 模式时,还需选择安卓目标并框选对应的 Windows 内容区。
- 时间线主预览轨可见。隐藏主轨不会影响自动取图,但初次操作时保持显示更便于检查。
步骤一:配置录制素材¶
- 打开“录制设置”,选择屏幕、范围或 ADB 模式并完成目标设置。
- 开启“录制截图”“录制视频”中的至少一项。
- 使用截图时,确认“截图绑定”。默认鼠标左键按下时生成一张无损 PNG。
- 使用视频时,先保留默认
30 fps;本教程不需要开启声音。 - 保存录制设置。
截图和视频不是互斥选项:
- 只开截图时,图像片段进入主预览轨。
- 只开视频时,一个连续 MP4 片段进入主预览轨。
- 两者同时开启时,截图进入主预览轨,视频进入下一条预览轨。
坐标自动生成模板始终只读取第 0 条主预览轨,因此同时录制两类素材时会优先使用截图轨,而不是下方的视频。
步骤二:录制一段可定位动作¶
- 把时间指示器移到希望开始的位置。
- 点击“录制”,等待 3 秒倒计时结束。
- 在目标中执行一次点击或拖动,并确保目标附近出现过截图或视频画面。
- 点击“结束”,等待正式片段和资源写入完成。
- 在时间线上确认动作片段与主预览轨素材覆盖相同时间区域。
录制视频只会生成一个视频片段,不会拆成每秒多张图片。截图默认持续 5 秒;后续截图较早出现时,前一张会提前结束。
步骤三:把坐标改为图像识别位置¶
- 选择要修改的 PC 按键片段或 ADB 触摸片段。
- 在左侧片段属性找到“目标组管理”。
- 选择“逐个管理”。这里指逐一编辑每个坐标;当前界面名称是“逐个管理”。
- 展开要修改的起点或路径点。
- 把目标类型从“百分比/绝对坐标”改为“图像识别位置”。
- 保留该目标原有时间和中心位置,点击“自动生成模板”。
- 在菜单中直接选择“生成模板”,使用当前缓存的截取尺寸;需要调整时选择“调整截取尺寸…”。
默认截取宽度和高度均为画布的 5%。修改后的百分比会在本次编辑会话继续复用,适合连续处理多个相似片段。
自动取图规则¶
系统先把目标的片段起点与内部时间偏移换算成时间线时刻,然后只在主预览轨查找:
- 该时刻存在图像片段时,使用这张图。
- 该时刻存在视频片段时,读取对应视频帧。
- 该时刻没有画面时,向前寻找最近的可用主轨图像或视频帧。
- 该时刻之前整条主轨都没有画面时,生成失败,不会改用下方视觉轨。
截取中心来自目标坐标,截取尺寸按画布百分比计算。素材即使与画布原始分辨率不同,也会先按画布尺寸拉伸后再裁切,因此视觉缩放不会改变实际模板范围。
步骤四:检查模板并 Debug¶
- 在目标卡片中确认模板缩略图已经出现。
- 打开内嵌资源管理器,确认新增 Image 的使用位置指向该片段坐标。
- 拖动或擦洗时间指示器,检查主轨画面与坐标位置;需要连续运行时使用 Debug。
- 使用宏 Debug 运行测试动作。
- 检查目标是否被找到、动作是否落到预期位置,以及识别失败提示是否指向正确片段。
对多个片段批量操作时,可以先多选同类片段,统一切换为逐个管理和图像识别位置,再批量生成模板。完成通知会区分成功和因缺少画面而失败的数量。
验证结果¶
- 动作片段目标显示为“图像识别位置”,并拥有模板缩略图。
- 内嵌管理中出现被该目标实际引用的 Image,而不是独立的临时预览资源。
- 隐藏主预览轨后再次自动生成,仍从主轨成功取图。
- 下方视觉轨有画面但主轨在目标时刻之前没有画面时,生成应明确失败,不会悄悄改变来源。
- Debug 时能找到模板并执行动作;找不到时会报告对应目标,而不是使用原固定坐标冒充成功。
失败处理¶
- “对应时刻没有可用的图像或视频画面”:把素材放到主预览轨,并确保目标时刻之前已有可用画面。
- 取到了过早的画面:目标时刻没有同帧,系统使用了向前最近画面;补录或移动一张更接近动作时刻的主轨素材。
- 模板裁到错误位置:检查目标坐标、画布分辨率和素材拉伸效果,再调整截取宽高。
- 模板太大或包含干扰内容:在“调整截取尺寸…”中减小百分比,然后重新生成。
- 视频看得到但仍无法生成:确认视频位于主轨、对应时间在视频片段范围内,并检查视频资源是否能正常解码。
- Debug 识别不稳定:选择特征更明显的裁切区域,再到片段属性中调整图像识别参数;不要只靠放大模板弥补背景变化。