实现Spark集群部署 这些公司都经历了什么?
网络大数据 | 2016-12-01 10:12
【数据猿导读】 软件公司Intuit和Novantas经过深思熟虑，决定部署他们的第一个Spark集群，限制初始用户访问并寻找坚实的商业用途
软件公司Intuit和Novantas经过深思熟虑，决定部署他们的第一个Spark集群，限制初始用户访问并寻找坚实的商业用途。
Intuit公司建立了Spark集群，最初用于在网站和进入在线表单的数据用户的财务和会计软件分析点击流记录。但是Intuit的副总裁Bill Loconzolo并不打算使用开源数据处理引擎。
Loconzolo表示，在他的印象中，Spark似乎并不是很灵活。但是尽管Spark集群设置是实验性质的，数据科学家团队也可以使用。Loconzolo说，2016年年底之前，他不打算开放系统。
他想要建立一个基于Cloudera公司Hadoop分布的大数据分析架构，他准备使用Spark等新技术至少六个月，以便判断公司是否做好了准备。
“以前使用大数据技术时，我们有过类似的教训，”他解释说，“有时候，提前做准备是我们避免失败的有效方式。”
Novantas公司的首席技术官和工程主管Kaushik Deka表示，开始使用Hadoop时，他的团队也采取了非常谨慎的战略模式。
“一年前，我们从未使用过大数据平台，”Deka说，“我们完全认同这样的技术，但想要使用这些技术，公司内部文化需要做些真正的努力和转变。”Novantas还必须通过对现有员工进行培训，建立像Spark一样的内部专业工具。
为了避免偏离轨道，该公司非常谨慎地寻找一个坚实的初始业务用于大数据技术。达到搜索高峰时，银行利用其分析服务和软件结合不同的数据集来支持个人客户如何应对市场营销的预测模型。Spark非常适合该应用程序，可以作为一个引擎完成提取、转换和加载数据集成工作。
Gartner分析师Nick Heudecker说，咨询公司获得了客户关于Spark评价的 “实质性”调查。但这项技术尚未成熟，企业用户中关于Spark集群的产品相对较少。他说，“我们对这项技术很感兴趣，Spark是否转化为部署是我们密切关注的事情。”
来源：网络大数据
刷新相关文章
我要评论
活动推荐more >
- 2018 上海国际大数据产业高2018-12-03
- 2018上海国际计算机网络及信2018-12-03
- 中国国际信息通信展览会将于2018-09-26
- 第五届FEA消费金融国际峰会62018-06-21
- 第五届FEA消费金融国际峰会2018-06-21
- “无界区块链技术峰会2018”2018-06-14
