【新智元导读】OmniParser V2可将屏幕截图转换为结构化元素，帮助LLM理解和操作GUI；在检测小图标和推理速度上显著提升，延迟降低60%，与多种LLM结合后表现优异。

　　然而，使用通用大型语言模型（LLM）作为GUI智能体仍然存在难点：1）如何可靠地识别用户界面中的可交互图标，以及 2）理解截图中各种元素的语义，并准确地将预期的操作与屏幕上的相应区域关联起来。

　　OmniParser通过将UI截图从像素空间「token化」为LLM可解释的结构化元素，弥合了这一差距，使得LLM能够在一组已解析的可交互元素基础上进行基于检索的下一步动作预测。

　　从UI屏幕中识别可交互区域是推理用户任务应执行何种操作的关键步骤。与其直接让GPT-4o预测屏幕上应操作的xy坐标，研究人员采用Set-of-Marks，在UI截图上叠加可交互图标的边界框，并让GPT-4V生成要操作的边界框ID。

　　具体而言，研究人员构建了一个独特UI截图的可交互图标检测数据集，竞技宝JJBapp每张图片都标注了从DOM tree提取的可交互图标的边界框。

　　数据采集时，首先从Bing Index热门网址中随机抽取100,000个URL，并从其DOM中提取网页的可交互区域边界框。部分网页及其可交互区域示例如图2所示。

　　研究人员发现，仅输入带有边界框和对应ID的UI截图，往往会导致GPT-4o产生误导性预测，这一局限性可能源于GPT-4o在同时执行两个任务时的能力受限：一是识别每个图标的语义信息，二是预测特定图标的下一步操作。

　　为了解决这一问题，研究人员在提示（prompt）中加入功能的局部语义信息。

　　具体而言，对于可交互区域检测模型识别出的每个图标，使用一个微调模型生成该图标的功能描述。

　　通过构建专门的图标描述数据集，研究人员发现该模型在常见应用图标的描述上更加可靠；在UI截图的视觉提示基础上，加入局部边界框的语义信息（以文本提示的形式）能够显著提升GPT-4o的理解效果。

　　可交互图标检测数据集：该数据集来源于Bing Index热门网页，并经过自动化标注以突出可点击和可操作区域。

　　03月02日，海外青少年热游“冰城”：打卡东北虎林园 冰雪大世界“嘎嘎冷”，网上娱乐发布平台，凤凰彩票体育下载，新银河，银河正规在线日，（粤港澳大湾区）广东上线裁审对接平台 具“联通港澳”等特点，ManBetX旧版本，杏耀下载地址，欧亿体育app手机版，E世博线日起暂停对外开放，凯时kb88在线平台，aoa体育平台官网，天博是什么平台，402com永利3站

　　03月02日江苏省人大常委会原副主任刘捍东被公诉 被指“一人犯数罪”视讯真人游戏竞彩官网雷速体育下载不了了欧冠比赛外围怎么买华纳娱乐官网开户

　　03月02日巴以新一轮冲突第100天之际，数千抗议者在特拉维夫集会吁以政府解救人质果博在线买球华体汇app官方下载安装金沙官网即时比分哦

　　03月02日中国人保启动一级应急响应 迅速应对云南镇雄县山体滑坡Bet体育欧冠推荐永利网站平台体育平台app排名前十2019欧洲杯预选赛赛程……

　　03月02日，“新三样”成外贸增长“新引擎” 江西将大力培育外贸新动能，kk体育平台怎么样赚钱，竞技宝JJBapp银河捕鱼，j9九游会登陆旧版，银河娱乐app官方下载

　　03月02日农业农村部：春节期间“菜篮子”产品供给总量有保障开元棋盘app下载全能版鸿运棋牌二八杠lol世界赛外围龙8国际注册彩金

　　03月02日，莫言：全数捐出爱心奖奖金 为点亮希望，BETVLCTOR伟德下载，k8官网下载，口袋app彩票，亿博体育注册送18

　　03月02日，文化中国行丨联播一瞬带你走进中式美学下的园林秋色，乐鱼app下载，给个365bet网址，沙巴体育波胆，AG鸭油倒闭

　　03月02日，京演演出院线成立 助力北京“演艺之都”建设，电玩官网app，yabo入口登录，澳门游戏注册证网，永乐国际官网

　　03月02日北京今日晴朗为主最高温4℃ 明夜起山区等地或飘雪云顶娱乐体育注册亚新网站是多少金榜188金宝博登录入口官网

　　03月02日黎宣布第一阶段对以袭击取得成功 发射320余枚火箭弹必威客户端网页登录云顶娱乐手机版登录地址美高梅博彩唯一网站火狐网站是多少

　　03月02日国台办：利用船舶遇险事故造谣抹黑大陆 我们对此坚决反对正规买球app十大排行大阳城集团娱乐app网址下载2022云鼎赢三张app下载澳门新萄京游戏

　　命案嫌犯潜逃25年 50多岁不敢结婚，中国载人航天工程开创者王永志逝世乘客飞机上突发脑出血 乘务组与热心乘客联手救命银河注册开户m6米乐登录入口果博竞彩官网在线炸金花网络游戏

　　女儿本命年爸爸狂买36件红色礼物，游科鸣谢里提到了黑神话吧宁夏中宁：“苦”药材种出“甜”滋味贝博网页登陆ag亚洲游戏试玩果博电子网投沙巴体育游戏规则

　　国家疾控局回应X疾病或会暴发警告，韩国在野党提交总统弹劾案刺探中国：起底007老东家竞彩app哪个可以买街机森林舞会扑克之星澳门网投游戏

　　父母爱情，奇瑞把车从32米高空垂直扔下李强出席世界经济论坛2024年年会并发表特别致辞沙巴SB体育官网威尼斯游戏手机版官网华夏棋牌游戏十大菠菜

　　淘宝免单，辽宁盘锦13死35伤事故处理情况公布中国援尼泊尔医疗队：助当地医院填补多项腔镜手术空白和记娱乐注册彩金永乐国际平台手机版下载真人快打国际天博综合克罗地亚网页

　　说一个你知道的课本之外的历史名人，柴师傅辛苦了一天把地板修好了美图推出6款产品 吴欣鸿：深耕AI应用，让每个人都能享受到AI的价值天博克罗地亚登录完美平台竞技app真人国际象棋贝博官方下载