1月13日，数据猿联合上海大数据联盟和宝信软件举办了“魔方大数据（13）之工业大数据”专场，邀请工业大数据领域领军企业的众位大咖就工业大数据领域出现的新机遇、新融合、新挑战进行了深度交流与探讨。

与会分享嘉宾有：

宝信软件资深项目总监 王奕

青域基金合伙人 牟颖

美林工业大数据业务总监 李琼

明略数据上海副总经理 李勇

宝信软件高级技术总监 沈春锋

超算科技HPC事业部总监 丁峻宏

江苏大数据联盟（理事长单位 中堃数据副总经理） 陈隋和

博世物联解决方案总监 韩轶奇

-视频版-

-文字版-

温馨提示：

欲索取现场嘉宾分享的PPT，请关注数据猿微信公众号(datayuancn)并回复关键词“沈春锋”下载

以下内容为“宝信软件高级技术总监沈春锋”分享，并由数据猿编辑整理发布：

对于一个企业而言，除了有一个好的理念之外，最重要的还是要把这个理念落地。今天我主要给大家分享一下：宝信软件是如何把工业大数据技术落实到企业运营的。

今天我的演讲主要分为三个部分，首先看看宝信这边为什么要做大数据。大家知道宝信是一个工业软件和物联网解决方案提供商。通过多年的积累，宝信已经形成了一条完整的面向工业软件和物联网的产品线，在数据采集、监控、应用和可视化方面都拥有自主的知识产权软件，这些软件形成了一个完整的解决方案，是面向各个行业的。事实上，在物联网和工业软件的解决方案中，传统的IT架构会产生很多的问题，比如说数据越来越大，原有的系统横向扩展的能力就非常有限。其次，我们要处理的数据不像以前是结构化数据，现在数据的种类越来越多，我们客户对于整个数据处理的要求也越来越高。近几年来大数据得到了很大的发展，给这些问题提供了非常好的解决方案。

很多客户也跟我们讲，宝信以前提供的那些传统的IT解决方案已经够用了，觉得自己并没有这么多的数据，也并不是一个大数据。在回答这个问题之前，我想跟大家讲讲现如今非常热门的话题：工业4.0。工业4.0的核心其实叫做CPS，什么是CPS呢？就是需要在一个物理世界建立一个与之对应的虚拟空间。我们如果要做智能制造的话，需要在很多东西里面寻求一个最优的解决方案，在虚拟空间里面寻找最优解决方案的时候，一定比物理空间里面的代价更小，也更容易找到。但是想要从物理空间到虚拟空间，大家会很容易发现一个问题，就是这个的数据量是非常大的。所以很多客户说他们的数据量没有那么大，这是不准确的。企业的管理、制造如果想要做到精细化，大数据一定是将来发展的必然趋势。

大数据在工业制造的方向

怎样把大数据用到工业里面？很多人讲到大数据，第一个想到的是Hadoop，跟我们传统的IT技术不一样，大数据不是一个单一的技术，大数据是个庞大的技术体系，对于任何一个企业来讲，要掌握这么一个大的技术体系是不容易的。

在大数据技术和行业应用之间我们做了一个大数据的平台。往下我们屏蔽和封装一些大数据的技术，往上对各个行业提供技术支撑，使各个行业具备大数据的特征，这就是我们做大数据平台的意义。

我们的大数据平台有哪些功能呢？主要分了四个层次，在四个层次里面，所有的大数据平台的构建融合了大量的大数据技术，并采用了分布式的架构。因为东西比较多，我挑一两个点给大家展开讲一下。   

讲到大数据，数据永远是第一位的。对于整个企业来讲，无论是经营管理，还是生产制造，都将会产生大量多样化的数据。以往企业里都是些非常简单的数据，用一个数据库就能处理。但是后来随着数据量越来越大，数据种类越来越多，大家发现用之前简单的方式是不合适的，所以我们要用更合适的技术处理更合适的数据，因此我们做了很多非结构化、半结构化、结构化的数据的存储。这些数据的存储为整个企业大量的数据资产提供了很好的支撑。  

大家知道这么一个分布式体系也是非常难的，用户提了很多要求，希望我们大数据平台能够在一个普通的X86服务器上面做，系统可横向扩展，具备高可用性。  

数据服务方面，第一个给大家看一下结构化数据存储的服务，我们叫做STS，这适合海量结构化数据存储和分析。主要体现在以下三点：

1.实现了不停机条件下的水平扩展。

2.数据的抽取跟我们传统的数据仓库不一样，可以随时抽，不像原来数据仓库得晚上批量抽，现在我们所用到的数据往往是一天以前的，是很老的数据，很难实时化，我们可以进行连续地抽取。

3.数据量大了以后，用集群力量做数据分析，我们可以用标准的SQL实现分布式数据分析。

还有是半结构化的数据，它的表可以动态扩展，我们在这方面也开发了很多的功能，因为数据大了以后，最大的问题是怎样找到，首先要有一个存储，面向交通行业可以把车牌放进去，在很短的时间之内把我要的结果查出来。还可以面向GIS的行业应用，对地理信息的数据进行检索，画一个圈，落在这个圈里面的数据可以在非常短的时间之内查出来。 

还有一类在工业领域和物联网领域出现最多的，就是由传感器设备产生的数据，这个数据有一个很大的特点，就是类型非常多。什么意思？大量设备的品类不一样，而且遵循不同的标准协议，这边在前端可以支持一千多种工业标准的协议，大数据平台部署之后就可以直接对接这些应用。数据进到我这个系统里面之后，我们可以做两件事情：

1.对数据进行实时分析、报警，如果这个数据不正常的话可以实时进行提醒。

2.对历史数据进行回溯和分析。这一类产品的数据和我们人产生的数据是不一样的，所以数据量非常大。我们加了很多压缩的算法，使得可以在有限的存储空间里面存储更长时间的数据。这是半结构化数据。 

非结构化数据的应用已经很广了，比如说图纸、文档、音视频等等，通过把非结构化的数据放到我们的服务里面，服务上面架构一层索引和层次关系，形成非常完整的支撑PLM产品全生命周期管理的服务。  

大家知道大数据还有一个问题，我们现在应用的时候有很多存量的数据资产，而这个数据资产是怎样接到我的系统里面的呢？因为我们提供了各种解决方案，这个工具配合大数据平台可以把大家现有的企业制造过程中所有的数据抽到这个平台里面进行分析。  

数据有了存储之后，还会出现一个问题，光存了不能用，还要做分析。分析里面需要进行计算，而这个计算和单机版的计算还不一样，比如说分析类的语言，怎么在大数据平台里面跑？我们提供了一个任务调度框架：一个是对复杂的，调用集群的所有资源。还有是任务简单但是数据量很多的，可以把这个任务调派到有计算能力的平台上面跑。这个虽然很方便，但毕竟还要写程序，本来这个平台的理念是把一些I T的技术放在下面，让大家专注做业务，因此我们提出了表达式计算服务。就是把数学公式放到我们的系统里面进行自动解析，然后再把任务调度到平台里面，自动完成计算，这样就把应用的门槛降得很低了。  

数据算完以后还有一个问题是怎样展示，用户对可视化提出了很多的要求，打开浏览器就可以看到所有的页面，这是第一要求，能不能做到？第二，用户说我不想写程序，可不可以？第三个能不能跨平台，做了这个网页以后，除了PC的笔记本电脑可以看，手机能不能看？我们所有的大数据可视化的服务都是遵循这几个设计的理念来做的，下面我给大家演示两个服务：

一个是页面的可视化服务。当时我们在一个行业里面做了一个页面，用来展示整个企业能耗汇总的信息，上面有菜单，下面有图表。做这个页面本身是很复杂的事情。下面我给大家演示一下这个页面是怎么做出来的。  

整个页面，给你一个环境，一个网页，然后网页打开之后，可以把布局先布好。左边一列，除了布局，还有Html5的很多元素，这样你要的各个画面的元素可以简单的搭起来，搭起来之后对各种页面展示的情况以及后台大数据的服务进行对接。同样的还可以根据你的个人喜好调整页面的样式，整个过程是非常快的。很多大数据可视化的应用可以用这个把它很快地做出来。  

还有一类应用，是工业领域里面面向监控的。这里有一个水泥厂的案例，首先看这个画面，这是水泥厂整个生产线的情况，而这整个过程，无论是炉门开关的情况，风扇的情况，还是温度等等都可以自动地从现场传感器把数据收集到大数据平台上面。我们还可以对其进行控制，比如说这里有一个开关，开关可以控制现场的排空量，只要打开这个开关，信号就会发到后台。完成这个页面的过程也很复杂，下面我就给大家介绍一下这个页面是怎么做出来的。

在左边有四千多个图谱，大家根据各个行业的情况把图谱拖到右边，然后把后台数据和图谱上面的元素进行关联。这边还有一些配置，比如说到底多快，因为太快了看不过来，可以调慢一点。整个图谱都是以矢量图的形式，手机也可以看，很方便。       

大数据还有一个问题，就是在解决了数据的采集、存储、可视化之后，这个系统该怎么运维？这是很复杂的。以前是一个很简单的机器，现在是一个集群。我们做了一个一体化机器，这个一体化的机器很小，但有五个节点的集群，集群已经具备了大数据平台所有的特性，可以把大数据的各种服务放到这个平台里面，用户用的时候只要把软硬一体的一体机拖到机房里面，连上网之后就可以用了。  

宝信大数据平台的应用

最近我们的大数据平台也应用到了很多行业中：

第一个在能源方面，我们把整个市里的企业的能耗数据都放到我们的平台上面，这里有一个好处，我可以将所有的能耗企业进行比对，比如说哪一个企业的某一个设备能耗比别的企业要高，说明这个设备肯定老化。企业里面能源的结构怎么配比、怎么折算等等。有了这个大数据之后，就可以做很多关于节能方面的分析。我们还把企业里面的数据传感器，通过数据传输服务，放到过程数据里面，大量高频的数据通过分布式环境进行存储，对各种能源的指标进行折算、统计，然后根据所统计出的能耗历史趋势与能耗实际状况相比较，找出一些不太正常的企业进行报警。  

第二个在交通领域，交通领域是真正能让大数据施展空间的行业，数据在每时每刻产生，比如说车牌，它的数据量就是非常庞大的，而且整个城市里面智能摄像机的数量也非常大。怎样把这些数据在大数据平台里面进行分析和比较呢？大家知道牌照识别不是100%对的，往往有一些会错，这个错误以前都是人挑出来的，但是有了大数据平台之后就不需要挑了，比如说一个月以内整个市区里面这个牌照只识别过一次，那么错的概率就比较高，平台会自动把这个拎出来，然后重新学习，这样就能提升交通里面牌照的识别率了。此外，还可以做异常车辆行为的分析，当时市里面对两个月内的车辆数据进行了统计，分析哪些车是白天不出来，晚上出来的。原来Oracle系统里面分析是非常慢的，但我们这边只要用几分钟就能把两个月内所有的异常数据拎出来，拎出来之后放到大数据平台进行自动布控，一旦这个牌照有问题，就把它输到大数据平台里面，然后跟前端的相机报上来的数据比对一下，发现有问题就自动报警，这是大数据在交通行业的应用。

第三个在制造行业里面，我们发现制造行业因为数据的种类非常多，而且环境也很复杂，所以是最难实施的。这是大数据在某一个钢厂的热轧产线中的应用，因为一些系统比较老，没有接口，所以很多图像或是数据仅仅只有一个监控画面，于是我们在上面布了一些软件，用来识别这些画面，然后再将它转化为结构化数据。在我们很多的存储模块中，拥有大量的结构化数据、非结构化数据，以及半结构化数据，有了这些数据以后就可以做很多事情。比如说热轧的那个钢板的表面，哪些存在缺陷，这个缺陷是什么原因造成的，都可以在这个大数据平台进行分析。我觉得在工业领域，我们才刚刚起步，因为工业是非常难的一件事情，很复杂，很多的机理很难说得清楚。应用大数据之后，很多是颠覆性的。我们很多大数据企业，都在用统计的关联分析去寻找这个规律，所以这一块是很有意义的，也是值得尝试的方向，虽然工业大数据才刚刚起步，但是我相信以后大数据会在工业里面越用越广，作用会越来越大。

我今天的报告就到这里。谢谢大家！

来源：数据猿