܄

如何判断面向GPU的数据库是否适合你的大数据项目?

【数据猿导读】 Hadoop很酷,Spark很快,但有时候你需要经过优化的硬件,处理越来越庞大的数据工作负载。这正是Kinetica基于的前提,这种内存中数据库充分发挥了大规模分布式图形处理单元(GPU)的强大功能:有望将实时分析性能提升100倍至1000倍

如何判断面向GPU的数据库是否适合你的大数据项目?

Hadoop很酷,Spark很快,但有时候你需要经过优化的硬件,处理越来越庞大的数据工作负载。这正是Kinetica基于的前提,这种内存中数据库充分发挥了大规模分布式图形处理单元(GPU)的强大功能:有望将实时分析性能提升100倍至1000倍。

考虑到如今可用的一堆大数据分析方案,这种承诺让人有点犯晕。但它有点乐观了,因为GPU非常擅长处理依赖高度并行化矩阵数学的工作负载,但是未必适合一系列更广泛的大数据应用

至少现在是这样。

GPU在大数据领域的崛起

Kinetica(前身是GPUdb)问世已有好几个年头了,由于它可以在大规模部署环境取代甲骨文及其他行业巨头,因而屡获奖项。首先,美国政府使用跟踪恐怖分子的数据库来跟踪和击毙恐怖分子。最后,美国邮政服务部门部署了Kinetica,以减少欺诈、简化运营。

取得了什么样的效果?不妨考虑这一点:2015年投递了1500多亿封邮件,行驶里程却减少了7000万英里,因而省下了700万加仑燃油。在这一切的同时,从213000多个扫描设备获取数据,美国各地的邮局和处理中心有15000多个并发用户,另外结合了地理空间数据来预测实时事件。顺便说一下,相比美国邮政服务部门一直使用的关系数据库,这将性能提升了200倍。

虽然看似不一样,但这种工作负载恰恰发挥了GPU的长处,正如MapD公司的创始人兼首席执行官托德·莫斯塔科(Todd Mostak)所写:“GPU擅长处理需要大量数学密集型运算的任务,比如视觉模拟、超快数据库事务、计算视觉和机器学习等任务。”

搞清楚GPU适合的地方

如此说来,关键在于搞清楚将面向GPU的数据库运用在何处,因为它们并不同样适用于所有大数据应用

正如内存数据库公司MemSQL的首席技术官兼联合创始人尼基塔·沙姆古诺夫(Nikita Shamgunov)告诉我:“毫无疑问,GPU为某些工作负载提供了优势,尤其是深度学习之类的应用。GPU之所以非常适合深度学习,是因为问题可以分解成许多小的操作单位,每一个小小的操作单位可以同时在大批核心上加以执行。”

除此之外,VMware的高级工程主管贾里德·罗索夫(Jared Rosoff)告知我:“单单一个GPU就有上千个针对矩阵数学运算经过优化的核心。深度学习涉及大量的超并行化矩阵数学。”如此一来,“像计算机图形这种深度学习依赖非常适合GPU的大量并行化矩阵数学”,也就不足为奇了。

然而,除了深度学习和数据可视化之类的应用外,久经考验的面向CPU的数据库常常是更好的选择,沙姆古诺夫继续说:

就深度学习之外的领域而言,关于使用GPU相比CPU的总体成本/效益仍存在着争论。英特尔等公司在以低成本封装CPU能力方面非常高效。而围绕CPU的行业基础设施仍让GPU方面的任何相似基础设施相形见绌。

换句话说,利用CPU往往成本更低,生产力开销极小,而且行业对CPU的支持力度要大得多。另外,大数据的一些方面完全更适合CPU。

沙姆古诺夫说:“比如说,数据处理查询的其他方面以join和shuffle等操作为主,比如跨集群根据不同的键对数据重新分区。这些操作在CPU上来得极其高效。”

罗索夫也对此发表了意见,表示“大多数软件无法充分利用这种程度的并行化,也无法用GPU有限的指令集来处理”,因而让它成为非常适合深度学习这类应用的理想解决方案,但是不太适合其他工作负载。

当然,随着时间的推移,我们可能会看到企业结合这两种方法,将GPU用在它擅长的地方,将CPU用在其余每个地方。随着GPU变得更普遍,数据库也可能会开始加大支持GPU的力度。


来源:51CTO

声明:数据猿尊重媒体行业规范,相关内容都会注明来源与作者;转载我们原创内容时,也请务必注明“来源:数据猿”与作者名称,否则将会受到数据猿追责。

刷新相关文章

大数据投融资周报(4月5日——4月7日,共9起)
大数据投融资周报(4月5日——4月7日,共9起)
大数据周周看:今日头条近10亿美元融资入账,Adobe推出体验云平台Experience Cloud
大数据周周看:今日头条近10亿美元融资入账,Adobe推出体验云...
【独家首发】数之联完成A轮数千万元融资,大数据分析挖掘领跑者获资本青睐
【独家首发】数之联完成A轮数千万元融资,大数据分析挖掘领跑...

我要评论

精品栏目

[2016/10/10]

大数据24小时

More>

[2016/09/26-7]

大数据周周看

More>

[2016/09/01-30]

大数据投融资

More>

[2016/11/28-2]

大咖周语录

More>

[2016/11/29-6]

大数据周聘汇

More>

[2016/12/06-13]

每周一本书

More>

返回顶部