典型文献
基于目标检测的图形用户界面控件识别方法
文献摘要：
传统机器人流程自动化(Robot Process Automation,RPA)主要使用操作系统和应用程序提供的接口获取图形用户界面(Graphical User Interface,GUI)控件,受操作系统和应用程序接口限制,但一些系统,如Linux,不提供获取控件信息的接口.提出一种基于神经网络对图形界面控件进行识别的方法,利用目标检测模型提取图形用户界面控件特征,在不使用操作系统接口的前提下识别图形用户界面内控件类别和几何信息,减少RPA对于系统与程序接口的依赖.同时,针对桌面端图形用户界面数据集缺失的问题,提出一种针对RPA领域桌面端图形用户界面目标检测数据集的生成方法.在该图形用户界面数据集上使用各类目标检测模型进行测试,结果显示,常用目标检测模型在识别用户界面控件的类别和几何信息时均能获得92％以上的准确率.
文献关键词：
目标检测;机器人流程自动化;深度学习;图形用户界面自动生成;自动化测试
中图分类号：
作者姓名：
林灏昶;秦云川;蔡宇辉;李肯立;唐卓
作者机构：
湖南大学电气与信息工程学院,长沙,410082;湖南大学信息科学与工程学院,长沙,410082
文献出处：
引用格式：
[1]林灏昶;秦云川;蔡宇辉;李肯立;唐卓-.基于目标检测的图形用户界面控件识别方法)[J].南京大学学报（自然科学版）,2022(06):1012-1019
A类：
控件识别,图形用户界面自动生成
B类：
机器人流程自动化,Robot,Process,Automation,RPA,使用操作,操作系统,Graphical,User,Interface,GUI,应用程序接口,Linux,图形界面,目标检测模型,不使用,系统接口,识别图,内控,几何信息,桌面,面目标,检测数据集,生成方法,类目,自动化测试
AB值：
0.25349
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
