会议主题：世界人工智能大会暨人工智能全球治理 高级别会议全体会议

会议时间：2024年7月4日 上午11：00

会议形式：线上速记

会议内容：

主持人：我是上海广播电视台第一财经的主持人黄伟，本届大会的主题是“以共商促共享 以善治促善智”。当前人工智能全球治理已经成为世界各国共同面临的重大课题，急需通过对话与合作、凝聚共识管控风险，推动人工智能朝着科技向善的方向发展。

今天在我们全体大会的一开始，首先邀请到的第一位嘉宾是WAIC老朋友，一直以来他都在不懈推动人工智能治理发展。各位，接下来让我们以热烈掌声欢迎清华大学苏世民书院院长、清华大学人工智能国际治理研究院院长薛澜先生带来他最新的见解，有请！

薛澜：大家上午好！非常高兴有机会今天跟大家来分享关于人工智能治理的一些想法。

我想今天从三个方面跟大家来交流：首先，人工智能未来带来的收益和可能带来的风险；二是在人工智能治理方面中国做过什么样的实践，以及它可能带来的启发；三是讨论人工智能的国际治理问题。

第一方面，人工智能发展可以给我们带来各方面的收益，有各方面广泛应用，我想这个大家比较熟悉。但我想在更加宏观角度来看，它能够为我们做什么？

2015年全世界193个国家在联合国共同签署了SDG，人类可持续发展目标，希望到2030年能够推动人类社会更好地发展。193个国家所签署的SDG一共有17个目标，下面有169个具体的指标。人工智能能够为它来做什么？大家知道，去年联合国召开一次会议看看时间过半，SDG执行情况如何？情况不容乐观，有很多目标不但没有能够实现，而且还倒退。所以大家对人工智能赋予了很高期望。

最近也有研究人工智能对SDG发展带来影响做出了一些分析。其中一个分析，17个目标分成三个大领域：经济发展、社会发展和环境可持续发展。总体来讲，人工智能会对169个指标里面134个带来积极促进作用，当然也有可能对其中59个/35%左右产生不利影响。左图可以看到积极正面影响，右边带来不利影响。从宏观角度看到，人工智能潜在积极影响和不利方面。

目前，人工智能可能带来一些风险。第一，技术内在问题，包括所谓幻觉，另外自主人工智能系统长远来讲，受到自主发展可能，对人类社会的威胁；第二，基于技术开发带来风险，包括数据安全问题、算法歧视、能源环境等等问题；第三，技术应用，包括误用或者滥用，长远对社会就业带来影响。这些问题都是不可忽视的。

如何推动人工智能健康发展，尽可能地让它收益最大化？同时把风险降到最低？中国在过去这些年的实践当中已经建立了相对比较完整的体系，首先在底层产业应用方面有一系列法律法规去推动人工智能的合理发展。另外，针对算法、算力、数据有一系列治理规则。同时，针对它的风险也有很多基本规则。2019年发布《人工智能治理准则》，包括《伦理准则》，这个作为底层。另外，针对相关很多问题的法律也出台，针对专项及具体场景应用都出台相应治理规则。构建了多维度、多层次、多领域、多举措的整体治理体系。

同时，特别强调人工智能发展和风险防控，要让广大社会能够对人工智能有更好的了解，所以这点也有很多研究显示确实公众在这方面，中国社会对人工智能发展积极、拥抱，但同时也对人工智能认识有不足的地方。所以，今年2月份四部门《2024年提升全面数字素养与技能工作要点》，部署这方面任务。

刚才讲到中国这方面的实践，从全球角度来讲，要看到人工智能发展面临着很多挑战。

刚才李强总理特别谈到存在巨大的问题，首先是基础设施鸿沟，25亿人属于脱线状态，同时全世界存在公民素质数字素养鸿沟，另外是人工智能发展和素养的鸿沟。这些是要全球共同努力发展，不但阻碍全球发展，也对全球治理带来很大影响，而且在今天国际社会里面，一个国家带来的风险就是全球的风险，所以这些问题必须得共同努力解决。

解决这方面问题，首先要把发展和安全作为“一体两翼”，国际社会对安全问题可以说是非常重视，要去推动其解决。另外一点，对于发展目前存在的鸿沟，AI鸿沟、数智鸿沟方面关注不够。所以，最近中国在全球发布了这方面的规则。所以，在这方面应该说有很多的工作可以进一步讨论。

首先，通过多途径建立国际交流及防控体系，加强政府间的多边对话机制，同时希望能够通过科学共同体力量助力国际机制全面完善。刚才特别高兴看到他们的主席来讨论，全球科技力量可以跟政府、跟企业共同推动人工智能的健康发展。

我们也希望联合国等国际组织能够真正起到综合全面协调的作用，去年通过安全协议，今年刚刚通过加强人工智能能力建设国际合作决议，打破各种壁垒，加强国际合作协议，同时在产业、科学界共同努力下推动人工智能合理发展。

最后，希望大家共同努力推动人工智能健康发展，为人类和平与发展作出更大的贡献，谢谢大家！

主持人：接下来在现场邀请到的这位嘉宾是在上海辛勤耕耘，并且获得斐然业绩的科学家，接下来掌声邀请上海人工智能实验室主任、首席科学家、清华大学惠妍讲席教授周伯文先生，带来关于《技术发展和安全治理的见解》，掌声欢迎！

周伯文：尊敬的各位领导、各位嘉宾，大家上午好！非常荣幸在美丽的上海与大家分享人工智能安全的前沿技术话题。

今天，我想提出一个技术主张，探索人工智能的45度平衡率。

当前，以大模型为代表的生成式人工智能快速发展，但是人力不断提升，模型应用存在一系列潜在风险顾虑。以公众对AI风险的关注顺序来看，首先是数据泄露、滥用隐私以及版权相关内容风险，其次是恶意使用带来的伪造、虚假信息等相关的使用风险，当然可能诱发偏见、歧视等相关的伦理问题。还有担心是否会带来就业结构等社会系统性的挑战，甚至在科幻电影中出现了AI失控、人类丧失自主权的设定。这些AI风险有的已经出现，但更多是潜在的。防范这一风险需要各界共同努力，需要科学社区做出更多的贡献。

去年5月份，数百名AI科学家共同签署文件表达了对AI风险的担忧，呼吁、防御人工智能风险应该与流行病、核战争与其他大规模风险一样成为全球优先议题。

根本原因是目前AI发展是失衡的，我们来看目前AI发展趋势，横轴是AI的技术能力提升，Transformer带来的模型基础下，大数据、大参数量的定理呈指数级增长，AI纵向角度安全标识、安全赋能与评估测量等，呈现离散化、碎片化且后置的特性。

最近的一些对其技术兼顾了性能和安全性，人类反馈强化学习、超级对齐等，这些方法帮助将人类偏好传递给大模型，涌现出了ChatGPT、GPT4，以及上海书生大模型等等。虽然瞄准安全提升，往往还是性能优先。

所以，总体上AI模型安全的提升还远远落后于性能，这种失衡导致AI发展包角的，不均衡背后是两者投入上的巨大差异。右边对比中可以看到，两者在研究上是否体系化，我们说的算法研究。人才密集度、商业驱动力，包括算力的投入度方面对比来看，安全度投入远远落后于AI投入，目前世界上只有1%对齐或者安全优先考量。

正如李总理刚才提出智能向善，AI要确保安全可控，统筹发展以安全。所以毫无疑问，我们要避免现在这类AI发展，真正需要追求的是右上角的AGI。

可幸AGI需要能够兼顾安全与性能，所以我们需要找到AI安全优先，但又能保证AI能力长期发展的技术体系，把这样一种技术思想体系叫做AI45度平衡率。AI45度平衡率是指长期角度来看，我们要大体上沿着45度安全与性能平衡发展，所谓平衡是指短期内可以有波动，但不能长期低于45度，如同我们所处的现在。也不能长期高于45度，这样会阻碍技术和产业应有的发展。45度平衡的技术体系要求强技术驱动、全流程优化、多主体参与，以及敏捷治理。

实现AI45度平衡率，也许有很多技术路径。上海探索一条以因果为核心的路径，取名为可信AGI的“因果之梯”。可信AGI的“因果之梯”分为泛对齐、可干预、能反思。泛对齐主要包含当前最前沿人类偏好对齐技术，但需要注意的是这些安全对齐技术目前仅依赖于其相关性，而不是真正的因果关系。可能导致错误的推理和潜在的危险，一个典型的例子是巴普罗夫的狗，当狗基于铃声和统计的相关性形成条件反射时，可能在任何时候听到都可以分泌唾液；可干预包含AI系统进行动态干预，探究其因果安全技术，包括人在回路，机器可解释性和刚刚最近提出的对抗演练。可以通过提高可解释性和泛化性来提升安全性，同时也提升AI的能力；能反思这要求AI系统不仅追求高效的执行任务，还能够审视自身行为的外在影响和潜在风险，从而确保性能同时保证安全和道德边界不被突破，这阶段技术包括基于价值的训练、因果可解释性、推理等等。

目前，从全球来看，AI安全和性能技术发展主要停留在第一阶段，部分在尝试第二阶段，等真正实现AI安全与性能平衡必须完善第二阶段，并勇于攀登第三阶段。沿着可信AGI因果之梯乘势而上，希望能够实现AI卓越与安全完美融合。为全球、全人类带来清洁丰富的能源一样，我们希望深度理解AI内在机理和内在过程，从而有效开发革命性技术。

但也正如可控核聚变对全人类都是共同利益一样，我们坚信AI安全性也是全球性公共福祉。正如书记所说，需要国际社会共同努力和合作，我们要与大家携手推进AI45度发展，共享AI安全技术，加强全球AI安全人才的交流与合作，平衡AI安全与能力的投入，共同构建开放、安全的通用人工智能创新生态和人才发展环境。

谢谢大家！

主持人：各位来宾，接下来把目光聚焦到智能芯片领域，有请新思科技总裁兼首席执行官盖思新先生带来他对于产业创新和全球治理的思考。

盖思新：谢谢，我非常荣幸受邀在这里进行发言，很高兴能够讲一讲AI的治理。我想从商业和企业角度讲讲。

首先，我想说一下我们要了解AI的全面情况，AI是从半导体开始、从芯片开始，它在推动非常了不起颠覆性的技术，同时上面的软件也在运行，我们有针对特别市场的应用，用户通过这些应用在体验AI。考虑到AI的颠覆性，会影响到每个市场，每个市场会变得更加智能、更加链接，所以在全球层面考虑整个生态系统以及怎样有责任地来确保人工智能的安全。

我们是从半导体角度来讲，看下过去60年，半导体行业花了60年实现5000亿销售，8-9年翻1倍到1万亿，几乎所有增量都是由AI增长所驱动，AI需要很多基础设施来训练模型，同时进行这些模型在每个应用上的推理，这也是我们会应用到各种各样的设备。虽然在过去30-40年出现很多颠覆性的技术，比如说个人的电脑、移动设备的发明以及互联网的发明，我们还没有见证AI到一个非常大的转折点，从历史上来说，半导体的市场根据芯片的性能来进行优化，也会优化芯片的能耗。在使用AI的时候，还要加上优化的层面，包括安全和保障。

那么，我们公司做什么？提供软件，帮助工程师开发非常复杂的半导体芯片。大家也知道，半导体芯片是最复杂的工程任务，人类见证获得最复杂的任务，所以我们尽可能自动化减少复杂性，要用行业的软件，向工程师提供这样的软件。AI给我们提供了很好的机会来加速、改进这些芯片开发过程，并且行业也缺少这方面的专业人才。所以，我们实现了很快的速度以及也在性能各方面实现了很好的优化。

在AI方面有很多共同的原则，之前很多人也讲到。主要是谈芯片层级，或者是半导体层级。今天这些公司具体在做什么工作？能够实行非常安全的半导体，最终把AI应用在它的实际生活场景中，确保它的安全。给大家举几个例子：

第一，有政府合规的问题，确保每个芯片都知道在芯片里面每个部件是什么，等于这个芯片每个部分的材料，都能够保证安全以及隐私保护，可以把IP插入其中，能够确保芯片自己的安全。确保芯片也不会被加入不合规的内容到其中，不会有这样的脆弱性。同时，能够保证监管的过程也是非常高效，在半导体设计过程中，有时候消耗能量非常大。在半导体层面上能量消耗怎样能够更高效？让我们大型数据中心能够进一步扩大基础设施建设？这些都是需要我们作为半导体芯片在设计过程中进行考虑的问题。

我们作为一家公司，也在试图将AI应用在自己的工作流里，公司大概有2万多名工程师，我们怎么来用AI加速自己的工作效率？已经建立了人工智能卓越中心/AI卓越中心，目的就是教育我们自己的工作人员很清楚地知道AI伦理、风险、价值，以及更好地教育我们的客户来用模型，使用技术开发更多的芯片，不断地进行监督和跟踪。在我们的产品里AI新一类技能进行不断跟踪。

另外，对AI进行商业化，2017年开始投资于AI，到现在有7年，在给客户销售产品里面一直有AI。所以，我们AI能够有助于提升效率，进一步优化芯片的设计、半导体的设计。我们也进一步扩大了自己AI的工作，包含了一些生成式AI内容。比如说，怎么样有更多新技术引入到半导体行业里面？用生成式AI作为知识基础提升工程师的工作效率？现在工程师数量还是缺的，AI很好证明可以应用在什么领域，去补充工程师数量不足，提升整个行业的工作表现和效率，我也希望大家不要忘记还有一个耗能问题。有几个数字，用AI来指导我们进行芯片设计，能量的使用量/耗能量能够减少30%，但是设计这套非常复杂的过程，效率还可以增长15倍。

在进一步加速过程中，使用和开发AI，我还是从半导体行业角度来看，千万不要忘记技术治理和生态系统的重要性。这些都非常重要，来确保AI的使用是合规的、合乎伦理安全的。

我就说这些，感谢大家今天花时间来听我从半导体从业者角度探讨如何进一步优化，从硅最基础一面一直到半导体一面，一直保证它的安全性。

主持人：接下来，一同进入黑石集团董事长首席执行官兼联合创始人苏世民先生和索奈顾问及投资公司董事长、首席执行官乔舒亚·雷默所带来的高端对话，请看大屏幕！

乔舒亚·雷默：当时有10几个人引用过这段话，您说不仅改变了应用的方式，有很多公司进行定价值的情况，原来大家觉得之前的公司一下子值了几十亿，值钱公司变得不值钱，您从商业角度怎么看AI跟投资方面的交际，这方面看到了什么洞察？人工智能怎么改变黑石内部监管？我更想问的问题就是AI怎么改变对于现有企业的价值认定方面产生什么影响？

苏世民：我去年也说过了，有一些企业在AI融合方面做得很棒，但其他有一些企业好像不太适应AI。所以，我们总是考虑在进行一些潜在的投资机会分析的过程中，因为在这个时代一个年轻人都很幸运，你可以借助AI帮助你打造模型。我刚进入这一行的时候根本做不来模型，不擅长数字，所以我看到的这一类新的AI应用方面机器都可以做，比如说起草投资委员会的会议备忘录等等都可以AI帮你做到，让我感到很惊喜。我也看到目前这项技术进展已经非常顺利，但也始终让大家把你们的预期放低一点，但是你的警惕性要保持高度的情况。不能把头埋在沙子里，不关注外面技术发展风险，因为技术深度发展以后，一定会产生非常深远的影响。

乔舒亚·雷默：关于这点，我的意思是多年以来你让我牢记的一点就是你思考风险的方式，我很少遇到像您这样的人，在思考风险的时候又有哲学性，又有战术实践性。AI有没有改变你管理风险或在投资中关于风险的定价方式？

苏世民：有句话，投资界里面老年人都胆子小，投资久了胆子都小。对出错的事情始终保持警惕，都是好事，这就给了我们这类人双重视角，展示出来哪一些有可能能成功，真正让行得通，也告诉我们有哪些商业领域是我们不想触碰的。因为一旦AI发展起来，有可能会让你血本无归，本来也是可以避免的。我们不像股票投资者不喜欢投的话就可以直接卖股票、退出，我们退不掉，只有硬资产。所以我们要看一个资产必须从5-10年长期周期视角来看，来评估。我本来想从猜测，现在还是用“评估”这个词，来评估一下。如果AI继续深入发展，对你所投的企业当前业务产生什么影响？有些企业可能会变成大赢家，一定也有输家，我们当然希望不要意外地、预料不到地成为AI技术发展以后的输家。所以AI成为我们看待事物的重要方式。

乔舒亚·雷默：说到学术方式，您是人工智能领域在学术研究方面规模最大的一个人了，您本身就专注资金非常大的资产捐助者，您为什么做AI这个领域？资产领域和学术领域有什么不同？

苏世民：我没有选AI，AI选了我。最早我作为资助牛津大学AI伦理运营方面的新人文项目投资，我之所以这么做，当时就是因为每个人都用理科投资的时候，我觉得应该把立刻投资和人类思想相结合，因为会改变人类10-20年之后的行为，要思考关联的问题，还有监管一系列影响。我对一个全球性的AI监管机构非常感兴趣。从事这项立刻技术的人出错的地方有一个应有的敬畏。

乔舒亚·雷默：未来优秀大学人工智能研究是什么样？您现在做的和最优秀的传统大学环境的人工智能AI有什么差距？

苏世民：相比于商业，大学其实在竞争方面属于劣势的，突破性进展目前主要出现在商界。因为企业买得起，负担得起，开发所需的一些算力。所以，目前的结构性变化以及正在发生，大学虽然都有超级聪明的人在那儿研究，但是竞赛当中相比于商业界处于劣势。随着时间发展之后，必须建立起来一种更有价值、更有思考的方式，比仅仅资助一位教授研究项目更有价值。这些也能够帮助大学，我们知道大目前商业企业商业基础，这些知识基础最早来自于大学的技术研究，如果你让我去预测的话，如果两者之间有更多的融合、尊重，那会有更好的结构。

主持人：感谢乔舒亚·雷默和苏世民先生带来对谈，再次谢谢两位分享。

自1966年设立以来，各位，图灵奖一直是全球计算机领域的最高荣誉。今天我们非常荣幸地邀请到其中的三位获奖人齐聚一堂，来共论人工智能治理的协同探索和创新未来。

各位，接下来让我们掌声有请图灵奖得主罗杰·瑞迪、图灵奖得主曼纽尔·布卢姆和图灵奖得主姚期智先生。同时，有请本场话题引领人原微软执行副总裁、美国国家工程院外籍院士沈向洋先生，掌声有请四位嘉宾！

自1966年设立以来，图灵奖一直是全球计算机领域的最高荣誉。今天我们非常荣幸地邀请到其中的三位获奖人齐聚一堂，来共论人工智能治理的协同探索和创新未来。

各位，接下来让我们掌声有请图灵奖得主罗杰·瑞迪、图灵奖得主曼纽尔·布卢姆和图灵奖得主姚期智先生。同时，有请本场话题引领人原微软执行副总裁、美国国家工程院外籍院士沈向洋先生，掌声有请四位嘉宾！

沈向洋：大家上午好！今天特别荣幸有这个机会和大家进行小组讨论，这三位都是导师级别的人物，快速给三位专家做一个介绍。

第一位，罗杰·瑞迪1994年获得图灵奖，我一直非常骄傲地说，他拿了图灵奖的时候我还是他的学生，所以这点让我特别骄傲。

第二位，曼纽尔·布卢姆教授，非常棒的老师，非常棒的学者，1995年时候获得图灵奖。

第三位，姚期智，清华大学教授，2000年获得图灵奖。

今天有这个机会和三位专家分享一下关于AI的未来，甚至可以谈谈有关AI的过去，我们如何思考在这个时代的AI治理。

首先问一下罗杰·瑞迪教授您的整个职业生涯都与AI相关，告诉大家一个小秘密，人工智能这个词就是你的导师在大会上创造出来的，您当时获得图灵奖的时候就说要建一个大规模的AI系统，实际上您最近也在思考AI愿景以及风险一面。跟我们讲讲您对AI的看法如何，以及对它的担心是什么？

罗杰·瑞迪：我今天上午听了大家的讨论，我很惊喜，也很高兴。

第一，看到大家都对AI治理方面的风险问题、安全性有担心。我们应该做些什么来用AI？在每一个领域里更多用AI，把AI视为工具，进一步加强人类智能，心智能力。不管你是谁，有能力做你想做的事，速度提升10-100倍。问题是怎么做到？我们需要做哪些研究？需要做哪些投资？但现在还没有做到这一点。

第二，联合国发言人讲到“能力建设”。现在我们的教育体系，没有办法培养未来的一代人，也就是了解AI的一代人。他们需要用AI来做好自己的工作，我们不能解决每个人的每个问题，但是我们能让每个人把自己工作做好。

沈向洋：谢谢，接下来有请曼纽尔·布卢姆讲非常重要的AI方面，也是您过去几年所研究的问题，这就是意识，这个很神秘的东西。有意识的AI，您能不能介绍一下您的工作？

曼纽尔·布卢姆：非常感谢，我和两位导师一起定义神经元，我很幸运和他们一起学习，我也想说试图研究人的大脑，这是二年级开始做的。我的老师和妈妈说，我可能高中会毕业，但上不了大学。我妈妈感到很困扰，但我并没有很苦恼，我问了我的父亲，我能做什么变得更聪明？他说，如果你知道你的大脑里在发生什么，你就会变得更加聪明一些。我觉得这个是很好的想法。

所以，我非常幸运做的工作是跟意识有关，我也做了20多年，这个行业发展得越来越好，我们越来越多地了解了大脑是怎么运作，现在研究意识已经是大家都能接受的，当时想研究意识，（尽管）导师是很了不起的人，各方面都很鼓励和积极，他说你不要去研究意识，这是1958年的时候。

现在研究意识已经很正常，意识能够给我们想法，让我们去建立通用人工智能。雷诺尔·布朗和我创立了意识的模型，我们叫做“有意识的图灵机（CTM）”，部分是基于图灵工作，它的想法来自于图灵，建立非常简单的想要理解东西的模型。图灵建了自己的图灵机，就是第一个计算机。我们工作也是基于神经科学家告诉我们的，有自己的大脑模型。对我来说，这是非常重要的，在我四年级的时候想搞清楚大脑里在发生什么，但我做不到这一点，我听到了它的模型就知道这就是我要做的，这可以和四年级人解释到底大脑里发生了什么，大脑里在发生什么？这个模型告诉我们，要把大脑里发生的事情想象成剧场，就像现在这里有很多的观众、专家，他们都是在听台上发生什么。台上有人在讲话、提问题、回答，这就是向所有观众进行广播。发生意识的时候，所有的听众听到了所传播的有意识的想法。

我之所以讲这点，是因为这个模型告诉我们可以让很多处理器同时工作，大脑里有100多亿神经元，100亿的处理器在听舞台上发生什么，作出回应。这个模型很神奇的地方在于告诉我们怎样做各种各样的事情。

沈向洋：您讲的这个模型，有意识的图灵机，是非常有意思的，刚开始研究AI的时候我们就想知道大脑怎么运作，等会儿回到这个话题。接下来问问姚老师，您在计算机科学领域取得很大的成就，最近您也非常关注于AI，包括非常重要的话题就是AI治理的话题。

之前薛教授的幻灯片里引用了您的一份报告，您一直在思考治理的问题，能不能进一步分享一下我们为什么非常紧迫关注这个问题？

姚期智：谢谢，我高兴能够来到这里，能够看到两个老朋友，可以有机会交流一下。

今天早上我们已经看到了很多人所讲的AI潜在风险，以及我们应该怎么去治理。我想做的就是首先讲讲风险，会和大家讲讲为什么从职业角度是非常关注人工智能治理问题。

AI风险来自于三个方面：一是像刚才所讲的是一种网络风险延伸和扩大，随着AI能力出现，传统的数据和网络安全方面的风险会被放大。现在，我们觉得管理数据安全已经是很困难的，出现了AI会困难100倍；二是没有意识到的社会风险，比如说AI非常强大，而且是可以有很多方式去使用，所以颠覆现在社会结构在短时间内发生的可能性，这是存在的。比如说有人提到，AI可能带来大规模未来的失业；三是最意思的层面，也和曼纽尔·布卢姆刚才讲的有关，也就是所谓的生存或者存在的风险。以前面临过存在的风险，生存的风险，当火车或者蒸汽机发明的时候，就有人有这样的担忧。近期大家担忧过核威胁，这都是非常合理的。这次，又出现了一个新的强大技术在改变世界，这一次颠覆性的力量可能比核生物威胁更加威胁。所有这些风险都需要很多专家来解决，不仅是科学家，还可能需要政府、律师、经济学家来参与，几乎涉及到每一个行业。

现在，我会讲一讲作为计算机科学家，一直在做理论研究，同时曼纽尔·布卢姆也在做很多理论研究。

为什么我们会对这个问题感兴趣？我对这个问题感兴趣出于两个原因：一是关心第一类和第三类的风险。AI相当于网络风险的放大，曼纽尔·布卢姆和我也都是专业研究密码学，所以从这个角度来说是很有意思的话题。AI可以说有些是无法解释，在数学上无法掌握，对我们来说这是一个挑战。对我们来说发展新的密码学就比较困难。现在由于AI出现了之后，网络风险处在非常早的阶段，和四五十年前情况非常相似。所以我们需要专家、需要有人关注这个问题；二是，第三类风险也是我很关注的，和可计算性有关。从AI破坏力角度来说，正是因为AI非常强大，具体说明了计算机复杂学研究的科学家所了解的情况。我们知道更大的算力会给你更多的知识和智慧，可以在理论上进行构建。但是，没有人预计到这样情况的发生，现在看到算力能解决很多以前不知道怎么解决的问题，这也是让人感到非常恐惧的。作为计算机理论学家来说，我是这么看的，我也想要理解这个问题。

现在简单来说，突然发现了一个方式，创造一个新的物种，这个物种比我们强大很多很多倍，我们是不是确定能跟它共存？如果无动于衷，就会被灭亡，这也是毫无疑问。这也是计算机的本质，或者是恶意行为者所带来的情况。

所以，很有意思的问题，或者作为计算机科学家看到了最有深度的问题，一方面我们把AI控制好，毕竟这是我们设计出来的；另外一方面，也不希望它被我们给破坏了，这样权衡是非常困难的。正如图灵所说，这是无法预测的，预测不了机器有了足够算力之后会做什么。所以，我对这个问题很感兴趣，正如曼纽尔·布卢姆所说，他也在做这个理论。他的工作和这个也是非常相关。

沈向洋：非常高兴听罗杰·瑞迪先生作为科学家介绍的情况，我觉得特别开心，最早研究计算科学的时候有四个领域，AI、语言和其他的几个领域，现在四个领域综合到一个AI领域。您那时候一直在做AI研究，您是非常有远见的一个人。那时候我去读书的时候很幸运作为您的学生，您总是充满震撼人心大胆的想法，您又是计算科学方面的教授，还打造了第一个机器人中心、第一个语言科技中心、第一个机器学习部，所有领域都是您主动提出来的。

接下来，应该推哪个新的机构？在CMU，在上海，我们接下来要推什么新的领域、新的方向？

罗杰·瑞迪：你要了解新的想法，首先要记住一点，每个技术它一方面产生新的机会也会带来问题。比如说汽车，作为一个新的技术，100年前如果告诉他们因为汽车技术出来以后，1亿年全球路上死掉100万人，我们不会用这个车，你肯定不会这么说。所以，我们一定不要把孩子和洗澡水一齐扔出去。

我们应该更积极主动做些什么事？每个工程师都应该做更好的一些事，我们做什么？怎么让他们效率更高？一个小时把一天的活都干了？这就意味着做很多投资、研究工作。希望我们能到那一步，不要去想着它的负面就不做了，要想着技术和未来带来的机会更多。以后在世界上每个人生产效率上涨10倍，因此GDP从100万亿生长到1000万亿。

沈向洋：我最想问您一个问题，也想告诉在座听众们再有一个小秘密，和图灵奖有关。曼纽尔·布卢姆也是非常优秀的老师，我们怎么评估一个老师厉害不厉害，主要看学生厉害不厉害。您作为图灵奖得主，您学生拿到图灵奖是最多的。

最后问曼纽尔·布卢姆老师，您的学生拿图灵奖数量最多，您知道姚期智先生这一辈子都在教育下一代学生，花了很多事，您怎么做老师这么成功？怎么能学点您的本事？

曼纽尔·布卢姆：谢谢你这么客气，我很幸运，我的学生都比我聪明，就这个原因。所以我不开玩笑，从他们身上学到了很多，从学生身上。跟他们学点东西很有意思，有时候说一句，有时候不了解、不懂，也不敢，一些少见情况下，有的人证明方式是不理解我就直说，我听不懂，不理解。有几次发现可能是证明手段里有问题，是错的。我再回到前面说的CTM，CTM特别有意思，组织1000万个处理器，很有意思的把它组成在一起，都是他们所知道的意识模型，最上面永远是总的管理者、执行官。CEO本人不一定知道你懂什么，你的专业能力是什么，不知道你有多少时间做多少事，不一定了解你所有了解的专业技能。所以，到需要做一件事的时候，不知道挑谁来做。CTM模型，我所知道的跟其他意识模型不一样，所以在CTM的意识模型里，没有一个中央决策者的角色。让每一个人都参与，每一个人都能够把最重要的信息放在最前台，这是很有意思的CTM的意识模型，这个和拥有总裁CEO不一样的。

沈向洋：非常感谢曼纽尔·布卢姆先生，大家好好读读你的论文，了解一下CTM的意识模型，非常有意思。最后请姚期智先生跟我们再谈谈AI未来如何？

姚期智：我们现在处于非常激动人心的历史时期，图灵测试的解决方案最后解决是我们的目标，就像开始罗杰·瑞迪先生说的，千万不要太多地强调它的安全性，不要太少地关注它的好处，我同意您的观点。借用曼纽尔·布卢姆在伯克利讲的那句话，我希望我们能做得到。

沈向洋：感谢姚期智先生，接下来谈一个小时都没问题，但是只有20分钟，所以就这点时间了。我再总结一句，曼纽尔·布卢姆您的学生里面有3-4个人又拿了图灵奖，太棒了！所以，我总结一点，用中文来说，我们都讲“名师出高徒”，曼纽尔·布卢姆教授讲的是“高徒出名师”，非常感谢！

主持人：谢谢，一年一会，又一次在现场聆听了各位的真知灼见。讨论的主题其实都是人工智能的两方面，大家还记得刚才我们所谈论的每一个主题吗？好的、坏的、确定的、神秘的、严谨的和大胆的。所以我们需要共论、共享、共智，谢谢四位和我们一起讨论了人工智能的协同探索和治理未来。

各位领导、各位来宾，女士们、先生们，本届大会的全体会议到此结束，接下来将会有3×24三天大会的精彩内容，在互联网上的全程直播，将会有无数的精彩内容等待大家发现，再一次谢谢所有在座的各位来宾，以及在云端收看直播的各位观众朋友们，我们未来再见！

来源：数据猿