在RPA的流程设计界面，以拖拉拽方式来构建业务流程，是比较常见的RPA流程设计方式。相对于以往需要编程的代码方式，拖拉拽式的流程搭建方式更进了一步，但依然存在不小的使用门槛，主要表现在：业务人员需要在RPA产品界面搭建业务流程，而RPA作为软件产品是IT视角，业务人员需要从其原来的业务视角转换为IT视角，将业务逻辑“翻译”成各种RPA功能模块，这对于大部分一线业务人员而言，会带来不小的学习成本。

此外，还有一种通过录屏的方式，将业务人员的操作过程录制下来，然后通过分析视频来简单记录和复制鼠标键盘的动作，形成RPA流程。然而，以目前的视频分析技术和系统“学习”能力，还不足以支撑上述理想化的RPA流程搭建方式。因而，录屏方式并没有很好的应用起来。

那么，该以什么样的方式来实质性降低业务人员的学习和使用门槛呢？这是业界亟需解答的问题。

基于屏幕理解颠覆RPA流程搭建模式

业务人员熟悉业务流程，但不熟悉各种IT系统。要降低使用门槛，核心就是要让业务人员无需将业务视角转化为IT视角，让其在自身熟悉的业务环境中就能完成RPA自动化流程的设计和搭建。

围绕这个思路，实在智能探索出了一种基于屏幕理解的流程搭建方式，其核心流程如下：

用户在进行流程设计和搭建时，不需要切换到RPA的流程开发画布界面，还是在以往的业务操作界面。所不同的是，RPA系统隐入后台，用户在屏幕上的所有操作都被系统“捕获”。比如，用户的鼠标停留在企业微信上，系统就可以通过屏幕识别技术，识别出对应的图标。实在智能的屏幕理解技术，不仅能够识别出屏幕上的图标，还能够“理解”每个图标的含义。用户鼠标滑过的每⼀块屏幕区域，背后的AI算法都即刻完成⼀次模型计算，最终分析并给出每⼀个区块和元素的含义。

在识别出对应图标之后，实在智能的RPA产品还能依据图标特性，针对性的推荐相应的RPA流程组件。例如，针对浏览器图标自动推荐网页、搜索、新闻等功能组件，针对⽂件夹图标自动推荐打开⽂件夹、查找⽂件、遍历⽂件夹等功能组件。用户可以根据其以往的业务操作流程，每一步操作之后系统都会根据该业务的属性和用户的操作习惯自动推荐相应的RPA流程组件，用户只需要根据系统的推荐和引导一步步点击鼠标，就可以搭建自动化流程，完成业务闭环。

要想基于屏幕理解重构RPA流程设计与搭建方式，需要具备两方面的能力：

1、精准的屏幕理解能力。

首先，需要能够精准的识别出屏幕上的各种图标和文字等内容，并能够理解他们的含义，这需要一系列的AI技术。以实在智能为例，其之所以能够用屏幕理解颠覆流程搭建方式，是建立在融合拾取技术、动态元素匹配技术和页面结构分析技术等大量的技术积累基础上的。

融合拾取技术，基于计算机视觉技术，准确识别出屏幕上的图标、文字等“元素”。经过长时间打磨和迭代，该算法模型在准确率、召回率和性能指标上都有了⼤幅提升；动态元素匹配技术，赋予“元素”以变量，这样系统就可以“锚定”某个特定的元素，该元素即使发生一定的改变，系统依然可以进行配准。比如，当系统识别出企业微信的聊天对话框，即使聊天内容不断改变或聊天窗口发生各种位移和形变，系统依然能够进行精准适配；页面结构分析技术，借助页面图神经网络分析、动态缩放⾃适应和区域内容填充识别三项技术，实在智能的产品不仅能够“拾取”屏幕上的单个元素，还能检测到整个软件的不同功能区域，并对多个元素进行组合“拾取”。基于页面结构分析技术，实在智能的RPA产品在进行屏幕理解时，更具“宏观”视角，而不局限于单个元素。

实在智能各项核心技术的性能参数

2、复杂业务场景的RPA流程搭建能力。

屏幕理解技术并不是为了炫技，而是为了帮助用户更便捷的搭建业务自动化流程。如果基于屏幕理解的方式，在复杂业务场景中也能很方便的搭建出自动化流程，构建业务闭环，这种新的自动化流程构建方式才算比较成熟。

要实现复杂业务场景的突破，需要在三个方面发力：

提升可支撑的业务深度。简单业务场景往往只需要几步操作即可完成业务闭环，与之相比，复杂业务场景可能需要十几步甚至几十步操作，而且这些流程环环相扣，有复杂的业务逻辑。RPA产品在用户进行复杂业务操作时，要依然有足够的支撑能力，能够“拾取”各种图标，理解其背后的业务含义。

构建丰富的业务组件库。识别出屏幕上的各种图标之后，接下来需要依据该图标的业务含义，推荐对应的RPA功能组件。针对复杂业务场景，仅仅是通用组件是远远不够的，还要有大量具有业务背景的组件，推荐的组件要跟该业务场景高度契合。为了满足这个需求，需要建立一个丰富的组件库，甚至需要构建一个组件市场和应用生态，来覆盖大部分的业务场景，让用户在构建复杂业务流程时，即使进行了十几步操作之后，每一步操作依然可以匹配到满足其业务需求的功能组件，来帮助其完成整个业务自动化流程闭环的搭建。

提升自动推荐组件的准确率。越是深入的应用场景，其业务逻辑越复杂，要从成千上万个组件当中推荐符合业务需求的RPA组件的难度就越高。一方面，系统需要理解特定场景的业务逻辑；另一方面，系统需要了解特定用户的操作习惯，预测其下一步操作意图。为此，实在智能不断优化多模态操作意图预测技术、业务场景感知推荐技术和在线学习技术：系统不断学习用户的行为数据，了解用户的操作习惯，在此基础上预测该用户的操作意图，让推荐的组件更符合用户“心意”；在操作意图预测基础上，融入行业知识，通过业务场景感知推荐技术，实现对业务级的操作意图预测并推荐对应的业务组件；实在智能在操作意图预测模型中加入主动学习和在线学习技术，用户每次采用或者不采用系统推荐的组件，都会作为用户反馈更新到本地的模型数据库，通过数据训练来不断迭代优化预测模型，提升模型准确率。

业务场景与RPA流程组件的智能匹配示意图

IPA，而不是RPA+AI

实在智能基于屏幕理解技术，将元素、拾取和变量等都封装在后台的AI模型中，用户需要关注的仅仅是电脑屏幕，而不再需要费心思去将业务流程与功能组件一一对应。因此，屏幕理解的技术核心，是AI能力。需要指出的是，实在智能是将RPA与AI深度融合之后形成IPA，这跟RPA+AI的方式存在根本的不同。

如果将RPA比作一个章鱼，那RPA+AI的方式，是在这条“章鱼”的“触角”上外接一些AI技术产品，来拓展RPA产品的应用范围。例如，在RPA平台上接入语音识别、图像识别、OCR等产品，让平台能够处理语音和图像数据；接入NLP产品，提升平台的文本理解与处理能力；接入智能对话、虚拟数字人产品，让RPA可以更自然的实现人机交互等。章鱼多长一个触角并不会提升它的智力水平，同样的，RPA平台外接AI产品并不会提升平台本身的智能化水平。

与RPA+AI不同，实在智能的IPA是将AI与RPA进行深度融合，以AI技术重构原有的RPA核心功能。IPA是改造“章鱼”大脑，而不是触角。以实在智能此次推出的智能屏幕语义理解技术（Intelligent Screen Semantic Understanding Technology, ISSUT）为例，该功能建立在计算机视觉技术、融合拾取技术、动态元素匹配技术、页面结构分析技术、多模态操作意图预测技术、业务场景感知推荐技术、在线学习技术等AI技术簇基础上，借助一系列AI技术来重构流程发现和流程设计方式。对于RPA平台而言，流程发现、流程设计、流程运行、流程管理是四项核心功能，并且流程发现和流程设计是整个业务流程自动化的基础，也是降低用户学习门槛的关键。实在智能以AI技术重构RPA的核心环节，相当于将AI内嵌到“章鱼”的大脑，提升了“章鱼”的智力水平，其价值要高于帮助章鱼长出一条新的触角。

降低使用门槛，是一项新技术实现普惠化的关键前提

实在智能基于屏幕理解颠覆以往拖拉拽的流程构建方式，核心目的就是为了降低业务人员的学习和使用门槛。需要指出的是，降低使用门槛看似一件小事，但却很可能是推动RPA普惠化的关键一步。

以史为镜，可以明得失。纵观近代科技发展史，有多次创新技术产品的普及，都与降低用户使用门槛休戚相关：

以鼠标为核心的人机交互方式，推动了电脑的普及。电脑最开始的人机交互方式是程序，只有懂得编程的技术人员才能用电脑。后来，出现了以鼠标点击为核心的人际交互方式，配套“视窗”操作系统，不懂编程的普通人也可以使用电脑，这推动了家用电脑的普及，让电脑从高大上的专用设备飞入寻常百姓家。

以触屏为核心的人机交互方式，推动了智能手机的普及。乔布斯作为苹果公司的灵魂人物，在推动智能手机创新方面具有关键作用。在苹果手机的诸多创新中，其用触屏重构人机交互方式，在推动智能手机普及方面具有特殊的价值。目前，智能手机的普及率要远高于电脑，很多老年人、小孩不会使用电脑，但却可以熟练的使用智能手机，一个重要原因就是触屏交互方式的学习和使用门槛比电脑更低。

苹果——变革了手机

此外，在消费电子的发展历史中，各种“傻瓜式”电子设备也大大推动了行业的发展。以相机为例，单反等专业相机只局限于少数专业人士，但是各类“傻瓜式”相机的出现，大大提升了相机的普及率。对于科技产品而言，学习和使用门槛越低，越“傻瓜化”，人机交互方式越自然、符合人类行为习惯，该类产品往往会更加普及。

同样的道理，以屏幕理解为核心的人机交互方式，可能会推动RPA产品的普及。业务人员的规模是IT人员的10倍以上，要普及RPA产品，关键在于各行各业的销售人员、营销人员、运营人员、行政人员等一线业务人员，可以快速上手，学习和使用门槛低，可以将RPA工具很方便的应用于其日常工作中。实在智能的此次技术和应用创新，是一个有益的尝试，期待该技术能够得到更广泛的应用，切实推动RPA的普惠化。

实在智能IPA——将变革RPA

文：月满西楼 / 数据猿

来源：数据猿