܄

金山云跟英特尔合作推出KMR,发力人工智能

【数据猿导读】 日前,金山云和英特尔合作推出数据分析领域解决方案KMR(Kingsoft MapReduce)。KMR采用英特尔至强处理器E5 v4产品家族的硬件平台, 是一个可伸缩的通用数据计算和分析平台

金山云跟英特尔合作推出KMR,发力人工智能

日前,金山云和英特尔合作推出数据分析领域解决方案KMR(KingsoftMapReduce)。KMR采用英特尔至强处理器E5v4产品家族的硬件平台,是一个可伸缩的通用数据计算和分析平台。它以ApacheHadoop和ApacheSpark两大数据计算系统为基础,通过自动调度弹性计算服务(KEC),能够帮助企业用户快速构建分布式数据分析系统。

金山云的发展大致分为三个阶段:云计算、大数据以及人工智能。

云计算,说白了就是以IaaS和虚拟化等技术为核心支撑,让企业将其业务放到云端,降低企业的部署成本,并且加速企业业务的发展。接下来,云上会产生很多数据,必须要有利用这些数据驱动企业进行决策的能力,这个时候就需要以Hadoop为代表的大数据处理技术。第三步,其实就是人工智能,像人脸识别等,这本身就是一个对性能和规模有非常高要求的行业,天然适合上云,所以之后金山云会着重布局。

要实现这些的基础,就是靠金山云机器学习平台KML(KingsoftMachineLearning),这是机器学习/深度学习任务托管平台,底层基于金山云高性能异构计算集群,融合了Intel等合作伙伴的技术。

会上,金山云大数据和AI技术总监张东进从成本、效率、性能、安全四方面阐述了KML的价值:

成本方面,平台会按实际的运营时间收费,这样就能帮企业省去系统研发和维护成本。

效率方面,这是一个全功能的深度学习集成环境,包括TensorFlow,以及英特尔的BigDL等框架。由于是全流程平台,所以从整个物料的预处理、物料的存储、物料的训练、评估、上线预测等等方面都提供完整的支持。

安全方面,做人工智能最核心的不是算法,还是数据。KML可以提供一个企业级的数据加密和企业级HPC集群保证数据安全。

性能上,底层是基于成熟的异构计算集群,其中就包括英特尔给提供的高性能E5系列的CPU,以及万兆网卡和英特尔SSD技术。

至于英特尔方面,技术专家也表示,目前和金山云一直在努力合作的部分是,端到端、云上大数据解决方案。拿最典型的KMR计算举例,数据是放在块存储还是放在对象存储呢?这个实际上是有不同的配置,比如用户想节省成本,想成本最低,都是批处理,这个时候可能把数据全放在底层对象存储,用KS3做对象存储,这样的话,当计算的时候,Spark直接从对象存储调用数据计算。同样,如果说想保证效率,计算的实时性要求很高,这个时候可以在内存里面建立一个内存文件系统,现在叫Alluxio,把热数据全部缓存在内存里面,直接用上面的KML或者是Spark实现内存计算,保证查询的实时性和计算的实时性。

所以,英特尔和金山云的合作目的是对每一个模块进行优化,按照云的特性,大数据的特性,把双方结合起来。


来源:36kr

声明:数据猿尊重媒体行业规范,相关内容都会注明来源与作者;转载我们原创内容时,也请务必注明“来源:数据猿”与作者名称,否则将会受到数据猿追责。

刷新相关文章

MIT训练出了一只变态、罪恶、极度阴暗的人工智能——诺曼
MIT训练出了一只变态、罪恶、极度阴暗的人工智能——诺曼
数据智能 无限未来—2020世界人工智能大会云端峰会数据智能主题论坛顺利举办
数据智能 无限未来—2020世界人工智能大会云端峰会数据智能主题...
数据管理简史:从人工到人工智能
数据管理简史:从人工到人工智能

我要评论

精品栏目

[2017/12/19]

大数据24小时

More>

[2017/12/18-22]

大数据周周看

More>

[2017/12/18-22]

大数据投融资

More>

[2017/12/18-22]

大咖周语录

More>

[2017/12/13-20]

大数据周聘汇

More>

[2017/12/12-19]

每周一本书

More>

返回顶部