临渊慕鱼，不如退而结网：听IT媒体人谈谈他眼中的“大数据”

IT媒体大数据云计算分布式存储

刘策 | 2016-07-07 14:41

【数据猿导读】云计算架构与分布式存储的融合，是大数据处理的前提与基础，也推动了大数据时代的发展。通过业务上云，实现数据整合，通过数据整合实现应用创新……如此环环相扣，最终实现了数据的清洗、分析与变现，帮助客户实现更精准的定位与推广

一、

对于我这样的IT媒体从业者来说，一般4-5月和9-10月会比较忙，因为客户总是选择在这两个时间段推出新的产品、技术和解决方案。恰逢这时候也是Q2和Q4季度的新开始，一些采用自然财年的公司更是希望借助这个时候冲冲业绩。

相对应的，1-2月和7-8月就是比较闲的两个时间段。前者是因为正值春节，IT屌丝男们忙着排队买火车票回家，更没有了上班的心思;后者则是因为酷暑难耐，而且接近年中，许多公司也会做半年的总结和规划，也就相对放松了市场活动。

可是，今年的7月却有所不同。虽然这个月才刚刚开始，但许多厂商的活动邀请就已经纷至沓来，也让我和那些媒体小伙伴们疲于应付。

这不，我刚刚结束了今天的会议，准备在酒店大堂的咖啡厅里休息一下，打个盹再回家。

“哎呦，李总，好久不见，快请坐”我睁开满是困意的双眼，看到邻桌来了一群男男女女，听听他们说话的意思好像是在谈客户。

“李总，这是我们公司的王工，他现在负责咱们这个项目，要不请王工先跟您介绍一下?”这帮人说话的声音还不小，我尽量把身子窝进沙发里，但还是听得清清楚楚。

“是这样的，李总，我觉得咱们现在的项目有点问题，关于您强调的这个大数据的应用哈……”耳边传来一阵浑厚的江浙口音，不用问，肯定是那个“王工”在说话。

……

我努力的让自己不去听他们在谈什么，但无奈的是“大数据”、“分布式存储”、“数据抓取”之类的词汇不绝于耳。我辗转反侧仍不能寐，最后只能愤起回家。

这觉睡的，跟开会有啥区别?

二、

“大数据”一词的泛滥并不是从今天开始的。2013年7月，我在旧金山飞往北京的航班上，百无聊赖的草草翻完了那本著名的《大数据时代》。这本书其实放在包里有段日子了，但如果不是长途飞机那种孤独、寂寞、冷，我真心不会考虑看这么一本无趣的内容，虽然它的读者评价很高。

之所以评价高，不是因为内容有多么深刻，而是当时讨论大数据的书寥寥无几，可赞美的就更少了。坦白来说，这本书写的只是概念和方向，而不是技术与工具。所以严格来说，这本书就跟现在许多的所谓“专访”、“揭秘”差不多，看起来言之凿凿，其实空洞无物。

如今，我随手在亚马逊上搜索了一下大数据的相关书籍，出现的内容就达到了近2000条。从2013年到现在，短短三年的时间，大数据就呈现出井喷式的发展，直到现在行业内张口闭口大数据，成为了最热门的关键字。每次你刷网页、逛淘宝甚至看《新闻联播》的时候，都能看到或听到大数据的相关内容，这也意味着媒体口中的“大数据时代”真的到来了。

每年，包括IDC和Gartner在内的数据公司都会发布最新的统计数据，说明未来的数据规模有多么多么大，人们对于数据分析的依赖有多么多么强，以此来说明行业发展的趋势有多么多么好。其实仔细想想，似乎每次有新技术出现的时候都是类似的情况，看来这些免费提供的报告果然不能深究，细思恐极。

就这样，在政府、企业、科研、分析机构的持续推动下，大数据应用在全国范围内如火如荼的展开，这时候许多老板们才发现，似乎这三个字不仅仅是说说那么简单。

三、

但是在大数据风靡的同时，许多前所未有的问题也开始浮现出来。

算不出——传统IT架构不能适应如此巨大的数据量需求，数据的大量涌入使得原有的IT系统难以为继;

扩不了——传统IT技术资源不能共享，水平扩展能力不足，跟不上数据的快速增长;

存不起——传统存储设备成本过高;

这些东西听起来太枯燥，且容我来讲个故事。

张三在XX创业大街旁开了一家卖米粉米线麻辣烫的小作坊，每个月虽然赚不了什么大钱，但是生活也算富足。不过自从张三开展了外卖业务之后，业务便一天天忙碌起来，甚至到了最后整条大街的写字楼都在张三这里买麻辣烫。慢慢的，张三觉得原有的小作坊完全施展不开，两口子的夫妻店也需要扩大经营。要不要把原有的小作坊改成大酒楼，雇佣更多的厨师服务员?张三想不明白这个问题。

张三面临的也正是许多公司老板头疼的事情。随着业务规模的扩大，一方面需要原有的IT架构进行调整，另一方面架构调整意味着更多的投入，而这些投入是否能够收到回报还是个未知数。在大数据时代，似乎每个企业都在面临这方面的困扰，如何解决这个问题让许多决策者陷入了两难。

还是妻子的一句玩笑话解答了张三的疑惑——为什么不与更多的外卖APP合作，开设更多的分店?

不把鸡蛋放在一个篮子里，这个道理谁都明白，但是当事者迷的也是大有人在。好在张三想明白了这个问题——与更多的外卖APP合作，就解决了高峰期送外卖人手的问题;开设更多的分店，就解决了外卖产出量与送货时间的问题。一举两得，妙哉妙哉。

四、

用IT的眼光看来，与外卖APP合作意味着开启了送外卖的“云计算”模式，各家外卖公司就成为了云平台;而开设更多的分店，则是采取了“分布式存储”，将业务压力分散在了更多的节点上，也使得业务能够实现并行化处理。

云计算架构与分布式存储的融合，是大数据处理的前提与基础，也推动了大数据时代的发展。通过业务上云，实现数据整合，通过数据整合实现应用创新……如此环环相扣，最终实现了数据的清洗、分析与变现，帮助客户实现更精准的定位与推广。

如今，浪潮最新推出的云海大数据一体机产品可以广泛应用于应对高并发分布式查询业务优化，海量异构数据仓库的构建、大数据处理分析以及包含大数据服务的PaaS平台建设等业务场景。据了解，浪潮云海大数据一体机包括SDA50000分布式数据库一体机和SDA70000大数据一体机两款产品，具有以下四大特性：

融合高效：采用新型分布式并行计算架构，可横向扩展达到4000个节点，形成强大的计算和处理能力;通过计算、存储和网络集中池化，柜内数据交换，资源利用率可提升40%，由于采用整机柜服务器模式，满柜搭载32节点1U标准服务器，可为用户节省75%的机房空间，整体功耗可降低66%;使用统一的可视化管理监控模块，运维管理工作降低50%以上。在性能调优方面，SDA70000基于SmartRack融合架构，软硬件预集成预调优，性能优于Hadoop社区版2-10倍。

敏捷易用：组件化交付，将繁琐的大数据环境搭建过程在生产线完成，开箱即用，易于部署。只需插电、连接网络、启动等简单几步即可开始使用。一体化运维，一站完成对软件、计算、网络和存储单元的运维管理，无需频繁切换控制台，建设周期缩短50%运维效率提升40%。

企业级增强：平台可靠性可达99.999%;针对分布式文件系统有30项优化，例如小文件存储优化、数据导入自动创建二级索引等，速度提高20%;整合和增强HBase、HDFS、Hive、Storm等20项关键组件，适配流式计算、离线处理、交互式分析、迭代预测、图计算等多种计算场景。

强大的开发支持：兼容SQL-92/99/2003、OLAP扩展，PL/SQL兼容度大于92%;提供基于MADLib的高级机器学习和数据挖掘功能;无需数据导入，即可直接访问HDFS、Hive、HBase、关系数据库的数据，进行统一的数据碰撞。

如今，包括政府、气象、公安等许多客户都正在应用浪潮云海大数据一体机实现业务的扩展与升级，云海大数据一体机也帮助客户深入行业，发挥价值。不仅如此，包括公安、气象、交通、卫生、教育、金融、电信、银行、金融、证券、保险、审计等各大行业浪潮云海大数据一体机也都有完善的解决方案，不断深化与发掘数据价值。

来源：IT大嘴巴

收藏分享

声明：数据猿尊重媒体行业规范，相关内容都会注明来源与作者；转载我们原创内容时，也请务必注明“来源：数据猿”与作者名称，否则将会受到数据猿追责。