香港大学主任杨强：打破大公司和富人对大数据的垄断，需要靠它

大数据人工智能杨强机器人

杨强 | 2016-08-25 16:09

【数据猿导读】在今天，人工智能在商业领域取得了很多成就，比如在图象识别、语音识别以及大规模的产品推荐等领域。但我们可能没有想过，这些人工智能的成就到底得益于哪些条件的满足，为什么这些成就二十年、十年之前没有到来呢

在今天，人工智能在商业领域取得了很多成就，比如在图象识别、语音识别以及大规模的产品推荐等领域。但我们可能没有想过，这些人工智能的成就到底得益于哪些条件的满足，为什么这些成就二十年、十年之前没有到来呢?

“什么是图灵测试、强化学习?”

在回答这个问题之前，我们首先要来理清几个人工智能科学的重要概念。

1. 图灵测试

回溯到人工智能的鼻祖——图灵，图灵测试最关键、核心的问题是机器可以思维吗?其实通过六十多年的努力，大家造出更快的计算机，汇聚更多的数据，研究更高级的算法，都是在试图回答这个问题。

2. 强化学习

强化学习不仅仅是机器能够学习人的行为，而且能够特别好地使用延迟反馈，这种反馈可以延迟在一个时间段上。这样就有可能实现一种新的学习方法，让机器学习在小数据上也能适用，这就是迁移学习的概念。所以我们也在这个角度看，我们可以使用哪一种人工智能技术让它产生应该有的作用。

提到强化学习，我也是Deepmind(一家由人工智能程序师兼神经科学家Demis Hassabis等人联合创立，致力于前沿科技研究与实践的人工智能企业)的粉丝。我们来看下Deepmind强化学习的流程：

这是计算机内部的表达形式，这个形式加上得到的反馈，就可以帮助我们改进策略——策略也就是我们平时做的行为规划，工作规划，包括游戏里的每个动作也对应着一个策略——这个策略又返回来产生一个新的界面，通过观察新界面又可以回去学习。

在整个Deepmind流程中，最强的一点是：反馈是持续给出的，而且只有流程跑到终点时，才知道到底是赢家还是输家，是没有用深度学习来选择的。现实生活中有很多类似的例子，比如我们上一门课，只有考试的时候才知道我们到底学会了多少;我们投资一支股票，过了很长时间才知道效果如何。这就是延迟反馈。

但这种学习也有一个弱点，就是当人为定义策略里面的状态空间，限制是非常大的。就像人永远预测不准，我们永远不能准确预知这个世界会发生什么。

于是谷歌提出了Deepmind的第二个目标：整个流程形成从输入端到输出端的深度学习，通过几百轮的学习之后，机器能自我学会怎么更好地玩一个游戏。一开始可能不好，但会看到越来越好的状态，这和我们人的学习过程是一样的，就是一个学习效率和学习效果大大提高的过程。

笔记侠备注案例说明：霍兰德是全世界第一个博士生，也是遗传算法之父，希望用进化论思想发展一套程序出来，看是否自己不写程序，程序可以自己演化出一套程序出来?就像用繁育良种玉米的方法一样，看能否演化出一个会捡易拉罐的机器人?他们在计算机里面随机扔了200个程序进去，每次清扫活动都会收到惩罚或奖赏，如果把罐子搜集起来，加10分，如果撞了墙，罚5分等等，满分是500分。然后把表现好的程序留下来并交合，之后的个体发生变异。为了对比，他找了最好的工程师设计一套聪明的机器人清扫策略，这个程序得了326分(满分是500分)。而进化计算的程序表现，第一代惨不忍睹，进化到250代的时候，就接近人类设计。第400代接近最高水平，第1000代的时候接近完美，达到486分。

“人工智能的成功来自于哪些条件?”

说到这里，我们可以回到开始的问题，人工智能的成功来自于哪些条件?

1、清晰的目标和边界;

什么是赢?什么是输?延到商业上同样要有很强的目标。同时，定义不能非常宽泛和模糊，而是要清楚到像下棋一样，我们需要知道什么时候会到达边界。

2、高质量的大数据;

我特别要强调的是高质量，数据要持续地反馈，不能接受一次就完，需要不断地接受才能使得我们学习不断地提高。

3、外部反馈;

反馈的方式、内容以及算法一定要匹配。我们听过一个说法，人工智能领域已存在几千万样本的数据，所以一定可以做得成。我却认为不一定。首先样本不一定是针对对应的算法收集的，其次算法不一定能够持续获得，最后反馈不一定很好。

4、人工智能领域需要既懂人工智能又懂商业的人才;

能把两个完全不同的垂直领域联结在一起的人才是必不可少的。这就需要我们从现在就要关注身边善于学习的人，着重培养他们。

5、计算能力。

包括云计算、并行计算、GPU，这个能力现在已经很强了，也是必不可少的。

“对话系统的体现”

对话系统是人工智能的热点，甚至有的公司会提出，人机交互的对话系统有可能会成为下一个入口，下一个搜索引擎。我们不管商业上的说法，先看下现有市场上的对话系统。大致可以分两类：

闲聊类：包括微软小冰，很幽默，但也止于闲聊;

功能类：在寻求特殊具体垂直服务的时候，比如预约酒店、航空公司应该会用到，但对话方式都是要这个服务按1，要那个服务按2，我感觉体验非常不好。

从技术上，对话系统又可以分成两种：

1、基于规则。很早就出现了，由很多专家来写的规则。好处是很准确;不好的地方是很难扩展，与数据无关，对数据不够敏感，有并行的不同意外事件不能同时应付。

2、机器学习的算法。我们在香港科技大学实验室里进行研究，主要目的是再把人工智能往前推进一步，寻找深度学习之后下一个技术热点。我们关心的是明天的技术。

介绍一下我们研发的类似三明治式的三层算法结构：

第一层：深度学习;

这块是我们熟知的一个递归的深度学习。

第二层：强化学习的学习器;

这是在第一层之上做的策略学习器。我要特别强调的是强化学习里最难的在于，人工智能机器人不能全部观察周围的世界，只能部分观察。所以强化学习的学习器有一个很怪的名字，叫做“基于部分观察的马尔可夫决策过程。”简化来说它是强化学习里非常难的一个阶段。

第三层：迁移学习。

迁移学习可以将一个做好的模型迁移到一个新的领域。这个系统应该具有闲聊、推荐、引导、提醒、学习的功能，就像一个真人一样。

如何让人工智能系统看起来像真人一样对话呢?

首先要有基本的深度学习对话功能;

其次要有一个策略，从而引导对话的对象去完成任务;

最后要能实现个性化，最好的方式就是贴近用户，让用户跟人工智能系统对话。我们的实践是把整个的对话系统放到一个机器人里面，让机器人通过语音跟我们进行对话问答。实际上，这个真正的系统是在手机上可以和人交流的。

像这样一个基于深度学习、强化学习以及迁移学习搭建的三层的模型，是非常通用的。

对话领域只是其中一个适用场所，这样的模型把它放到完全不一样的应用领域，它也能工作，这就是通用型的发展目标。比如我们有的学生就把它应用在公认很难的股票趋势预测领域：我们基于A股里某只股票过去十年的数据做训练，将数据彼此相连，然后产生不同的状态，让状态之间能够互相迁移。

接着是状态和状态之间的变化，我们用一个强化学习来模拟，最后我们发现深度学习的隐含层里面自动产生出来的几百个状态，基本就把这几年的经济状况给出了一个很完善的总结。

所以通过这个三层模型可以给出一个非常好的大趋势预测，我们也做了一些测试。一旦我们对一个领域有了足够的了解，一旦这个领域有足够多的数据被我们掌握，我们就可以套用人工智能，通过一个边界清晰的方法来解决它，以达到通用型的人工智能的目的。

“人工智能如何能做到个性化?”

我个人一直有个很强烈的感觉，大数据可能只有大公司和富人才能拥有。

深度学习是离不开大数据的，而大数据又离不开大公司。我们熟知的一些大公司都是大数据的拥有者。而中、小型公司本身没有大数据，也没有大数据获取能力。像深度学习的红利则来自于特征的选取，特征的准确选取又离不开大数据。所以这些大数据只有大公司和富人才能得到。

当然，强化学习还有另外一个重要的角度就是反馈，就是世界对系统的反馈。这个反馈可以延迟，但是它的训练也离不开大数据，依然是一个富人的游戏。

现在我们要实现让世界上每个人都能用上人工智能，就一定需要这样的研究，把一个大的模型，大数据训练出来的模型迁移到一个小数据的范围内，让它能在小数据上也起作用。这样的模型还会带来一个副产品就是个性化，也就是如果产品能够有很强的用户体验，那么一定要达到个性化的效果，这就是之所以要做迁移学习的目的。

什么是迁移学习呢?把一个已有模型迁移到一个未知领域的学习过程，就叫做迁移学习。当我们在一个数据领域已经建立了很好的模型，换一个模型也能让它应用。这样既节省了资源，又达到时间和效果的收益。

人类自动地会做举一反三的迁移学习，比如学会骑自行车后，再学摩托车会发现很简单。在人工智能领域，迁移学习已有了将近十年的努力，积累了大量的文献。迁移学习大致可以分为以下四种方式：

1、样本迁移;

通过在数据集合里面找到跟目标领域相似的数据，再把这个数据放大多倍，这就叫做样本迁移。

2、特征迁移;

通过观察到数据有些相似的特征，然后利用在不同层次间的特征，来进行自动的迁移，这叫做特征迁移。

3、模型迁移;

利用上千万的图象来训练一个图象识别的系统，当遇到一个新的图象领域，就不需要再寻找几千万个图象来进行训练，而只需要把原来的图像识别系统迁移到新的领域，这样在新的领域只用几万张图片就够用了，同样可以达到很高的效果，这叫做模型迁移。模型迁移的一个好处是可以区分，就是可以和深度学习结合起来，区分不同层次可迁移的度，相似度比较高的那些层次被迁移的可能性就大一些。

4、关系迁移。

比方说社会网络，社交网络之间的迁移。

应用迁移学习，可以将很多人的大数据迁移到一个人的小数据上。这样做的副产品就是能打破大公司和富人对大数据的垄断。比方说我们仅用一个用户的九个对话来训练迁移学习的效果，从一个三万人得到的大模型迁移到一个人的小模型身上，这个效果在强化学习的基础上做起来就特别地得心应手，因为强化学习可以将迁移的结果变成类似电路当中的最短路，使得我们能够不用很烦琐的去问用户很多同样的问题。

问答环节

提问：

人工智能是否提高了IT业务的收入?对RD(研发)来说应该优先关注人工智能哪方面的发展?

杨强：

人工智能有很多领域，我们今天经常提到的，到现在为止最成功的一个领域就是机器学习。机器学习的基本概念就是从数据经常重复出现的现象中学出规律来。它能做的事情就是把简单重复烦琐的工作给替代掉。

所以我们想想在生活和商业中哪些工作是简单重复烦琐的呢?比如电商，过去需要有个店小二做客服介绍产品，现在电商上可以通过人工智能推荐系统为我们推荐产品;再比如滴滴打车，过去我们需要等车，现在有人工智能系统，自动为我们匹配一个最方便的司机。

所以人工智能在商业上面很强的应用特征，就是要观察在商业活动中有没有一些数据能替代掉人的简单重复烦琐的工作。

当然这也说明还有一些比较能创新，需要一些奇思妙想的工种，它的任务是不但能够完成这些疑难的问题，而且能够为人工智能做一个老师。能够通过人工加工，使这些问题重复出现，再让人工智能给替代掉。所以人和机器的有机结合，我觉得是下一个看好的商业方向。

来源：笔记侠

收藏分享

声明：数据猿尊重媒体行业规范，相关内容都会注明来源与作者；转载我们原创内容时，也请务必注明“来源：数据猿”与作者名称，否则将会受到数据猿追责。