金山云跟英特尔合作推出KMR,发力人工智能
徐宁 | 2017-04-13 11:29
【数据猿导读】 日前,金山云和英特尔合作推出数据分析领域解决方案KMR(Kingsoft MapReduce)。KMR采用英特尔至强处理器E5 v4产品家族的硬件平台, 是一个可伸缩的通用数据计算和分析平台

日前,金山云和英特尔合作推出数据分析领域解决方案KMR(KingsoftMapReduce)。KMR采用英特尔至强处理器E5v4产品家族的硬件平台,是一个可伸缩的通用数据计算和分析平台。它以ApacheHadoop和ApacheSpark两大数据计算系统为基础,通过自动调度弹性计算服务(KEC),能够帮助企业用户快速构建分布式数据分析系统。
金山云的发展大致分为三个阶段:云计算、大数据以及人工智能。
云计算,说白了就是以IaaS和虚拟化等技术为核心支撑,让企业将其业务放到云端,降低企业的部署成本,并且加速企业业务的发展。接下来,云上会产生很多数据,必须要有利用这些数据驱动企业进行决策的能力,这个时候就需要以Hadoop为代表的大数据处理技术。第三步,其实就是人工智能,像人脸识别等,这本身就是一个对性能和规模有非常高要求的行业,天然适合上云,所以之后金山云会着重布局。
要实现这些的基础,就是靠金山云机器学习平台KML(KingsoftMachineLearning),这是机器学习/深度学习任务托管平台,底层基于金山云高性能异构计算集群,融合了Intel等合作伙伴的技术。
会上,金山云大数据和AI技术总监张东进从成本、效率、性能、安全四方面阐述了KML的价值:
成本方面,平台会按实际的运营时间收费,这样就能帮企业省去系统研发和维护成本。
效率方面,这是一个全功能的深度学习集成环境,包括TensorFlow,以及英特尔的BigDL等框架。由于是全流程平台,所以从整个物料的预处理、物料的存储、物料的训练、评估、上线预测等等方面都提供完整的支持。
安全方面,做人工智能最核心的不是算法,还是数据。KML可以提供一个企业级的数据加密和企业级HPC集群保证数据安全。
性能上,底层是基于成熟的异构计算集群,其中就包括英特尔给提供的高性能E5系列的CPU,以及万兆网卡和英特尔SSD技术。
至于英特尔方面,技术专家也表示,目前和金山云一直在努力合作的部分是,端到端、云上大数据解决方案。拿最典型的KMR计算举例,数据是放在块存储还是放在对象存储呢?这个实际上是有不同的配置,比如用户想节省成本,想成本最低,都是批处理,这个时候可能把数据全放在底层对象存储,用KS3做对象存储,这样的话,当计算的时候,Spark直接从对象存储调用数据计算。同样,如果说想保证效率,计算的实时性要求很高,这个时候可以在内存里面建立一个内存文件系统,现在叫Alluxio,把热数据全部缓存在内存里面,直接用上面的KML或者是Spark实现内存计算,保证查询的实时性和计算的实时性。
所以,英特尔和金山云的合作目的是对每一个模块进行优化,按照云的特性,大数据的特性,把双方结合起来。
来源:36kr
我要评论
活动推荐more >
- 2018 上海国际大数据产业高2018-12-03
- 2018上海国际计算机网络及信2018-12-03
- 中国国际信息通信展览会将于2018-09-26
- 第五届FEA消费金融国际峰会62018-06-21
- 第五届FEA消费金融国际峰会2018-06-21
- “无界区块链技术峰会2018”2018-06-14