元素检测器

试用检测器

上传截图、设计稿或 Figma 导出图:Mona 会识别文字、按钮、图片、输入框和图标。一切都在你的浏览器中进行:图片不会发送到任何地方。把鼠标移到元素上即可高亮它。

把图片拖到这里

PNG、JPG 或 WebP:截图、Figma 导出图、设计稿。也可以直接粘贴(Ctrl + V)。长图会被切成 900 px 高的屏幕。

第一次使用时会下载检测器(约 38 MB,之后保存在缓存中)。每个屏幕需要几秒钟。它是在电脑宽度的网站上训练的:手机或很小的设计稿识别效果较差。

如何判断结果

检测器并不完美,而且这一点经过了测量:以下是你可以预期的情况。

通常准确

  • 文字:大部分都能找到,偶尔多框或少框。
  • 大按钮和图片:清晰时能很好地识别。

需要人工核对

  • 不显眼的按钮(链接、“幽灵”按钮):每两个就漏掉一个。
  • 输入框:边框清晰时能识别出来。

经常漏检

  • 图标:三个里找到的不到一个。
  • 手机或很小的设计稿:检测器是在宽屏上训练的。

检测器的基准测试

只有元素检测器,在训练时从未见过的网站上测量。它在约 1500 个公开网站上训练,标签来自页面代码。

0,73文字:F1召回率 0.72 · 精确率 0.75
0,59按钮:F1召回率 0.59 · 精确率 0.59
0,36图标:F1最难的类别
元素检测器:各类别 F1F1(召回率与精确率的平衡,1 = 完美),在 120 个从未见过的网站(279 个屏幕)上,置信度 0.5。“之前”是检测器的第一个版本。
  • 之前
  • 现在
0,000,250,500,751,000,610,73文字0,550,59按钮0,610,60图片0,290,49输入框0,210,36图标
查看数值
类别之前:召回率 / 精确率现在:召回率 / 精确率之前的 F1现在的 F1
文字0,59 / 0,640,72 / 0,750,610,73
按钮0,51 / 0,590,59 / 0,590,550,59
图片0,65 / 0,570,61 / 0,600,610,60
输入框0,24 / 0,380,38 / 0,700,290,49
图标0,15 / 0,340,31 / 0,430,210,36
应该选择什么置信度阈值?各类别的 F1 随检测器最低置信度的变化。要求越高,错误越少,但漏检越多:测试页面上的滑块正是在做这个选择。
  • 文字
  • 按钮
  • 图片
  • 输入框
  • 图标
0,000,230,450,680,900,30,50,70,9最低置信度
查看数值
最低置信度文字按钮图片输入框图标
0,30,7090,5330,5820,5790,383
0,40,7260,5660,5920,5430,375
0,50,7360,5900,6040,4900,361
0,60,7420,5880,5960,4930,300
0,70,7420,5920,5750,4590,197
0,80,7290,5340,5450,4620,104
0,90,6740,4300,3810,3040,025