李卓：浅谈厂商在银行业大数据建设领域的能力

李卓银行业大数据能力

李卓 | 2017-07-05 14:04

【数据猿导读】金融银行业一直是大数据建设与应用的佼佼者，一方面银行正在尝试使用开源新技术替换或部分替换现有数据仓库的功能，另一方面在大数据分析、应用领域开展新的探索与发现。

近年来，大数据的发展可谓如火如荼，国外传统的数据仓库厂商如Teradata、DB2、Oracle越来越受到开源新技术如Hadoop、Spark、Alluxio等的冲击，开源新技术不仅能够缩减系统软硬件投资成本，而且可以处理传统数据仓库难以处理的半结构化、非结构化数据，开拓新的大数据分析应用。金融银行业一直是大数据建设与应用的佼佼者，一方面银行正在尝试使用开源新技术替换或部分替换现有数据仓库的功能，另一方面在大数据分析、应用领域开展新的探索与发现。接下来，就厂商在银行业大数据平台建设、分析、数据应用领域应具备的建设能力进行总结如下：

一、成功参考案例：厂商在金融银行业大数据建设项目案例是必不可少的，尤其是中、农、工、建四大国有银行的成功案例就显得弥足珍贵，有招商、光大、华夏、民生等十四大国有股份制银行的建设经验也是极为重要的，因为这些大的银行不论从数据量的处理、数据分析、挖掘的创新应用、新技术的研究探索方面都是小的农商行无法比拟的，并且厂商在这些大型银行沉淀的成功案例是其他商业银行开展大数据应用服务工作的极佳参考，更是厂商赢取新客户订单不可或缺的敲门砖。

二、大数据平台建设经验：目前大数据平台软件有国外相对成熟的Hortonworks与Cloudra，国内也有华为、中兴、联想、星环等平台软件厂商，国内平台厂商又大致分为两大类技术路线。一类是在Hadoop与Spark开源代码的技术上进行深度改造，以支撑将Teradata与DB2等数据仓库应用能很好的迁移到自有大数据平台上，深度改写的内容包括SQL语法兼容、存储过程构建、二级索引构建等功能;另一类是积极拥抱Hadoop、Spark的版本升级路径，只做轻度的改写与封装。前者的优势在于快速占有市场，缺点是无法跟上Hadoop、Spark的版本升级，后者的优点在于快速跟上Hadoop与Spark的版本升级，使用最新的大数据技术与性能优化扩展，缺点在于无法很好的替换现有Teradata与DB2等数据仓库平台的分析应用。应用集成商与银行客户如何进行选择也是仁者见仁，智者见智，但作为优秀的应用集成商应该具备紧跟Hadoop、Spark等大数据开源新技术的能力，并且能够拥有企业级上百个节点的大数据平台集群管理的实战经验。

三、金融数据处理经验：数据是所有数据分析工作的基础，数据在进行深入分析之前通常要经过复杂的加工处理。大量银行业数据仓库及大数据平台项目实施过程中需要建立对商业银行各类数据源的深刻认识与理解，并能够结合相关ETL工具与多年实战总结的数据模型设计方法论对商业银行的数据进行清洗、整合、转换、建模等数据处理。金融数据处理经验是厂商必备的大数据平台建设能力，这种能力一定是建立在对金融银行业源业务系统与FS-LDM数据模型多年的积累基础之上。

四、数据分析项目经验：金融银行业数据分析项目或专题大致围绕着日常经营分析、财务资本风险、客户市场营销、风险欺诈防控4个方面展开，业务提升也会包括客户管理、产品管理、渠道管理、风险管理、财务资本管理、运营管理、营销服务一体化等方方面面。厂商如果能在中、农、工、建四大国有银行或十四大股份制商业银行中，通过客户、营销、绩效考核、运营发展等领域的分析，成功实施相关应用系统的开发和营销应用，那么，这些经验积累将是其他商业银行开展大数据分析的参考标杆，也是厂商数据分析综合能力的体现。

五、金融数据应用经验：数据与技术是大数据建设的基础，数据的应用才是实现业务价值的关键。厂商在金融行业的数据应用可包括客户营销管理、经营分析报表，地址匹配，舆情信息检测，银行数据治理、风险管控、监管报送、历史数据查询等，这些内容将在为客户创造巨大商业价值的同时，也是厂商大数据应用能力的重要反映。

六、自主大数据产品研发：“工欲善其事，必先利其器”。成熟的大数据建设厂商通常能够结合多年的大数据实践与技术研发，提供大数据建设、分析、数据应用的相关产品与服务，可涵盖企业基础数据建设、数据分析与挖掘、数据应用与可视化等多个个方面。产品也可包括ETL处理工具、客户营销管理、数据可视化工具、电子地图应用、互联网非结构化信息采集、非结构化文本处理、自助分析取数、元数据与数据质量管理等。这些产品的合理应用将为客户最大的发挥数据的价值，也体现了大数据建设厂商技术能力的成熟度。

七、大数据团队建设：“科技，以人为本”。大数据建设、分析、数据应用是一个系统工程，所需的人才从大数据平台搭建、数据采集、ETL处理、数据模型设计、集市建设、数据分析挖掘、可视化应用等方面，所需要的角色也将包括大数据开发工程师、ETL工程师、数据模型设计师、Java工程师、业务咨询顾问、数据科学家、数据挖掘工程师等。厂商如果能拥有一支金融行业平均从业年限超过五年的大数据建设、分析、数据应用的团队，团队成员稳定，均具有丰富项目实施经验，且成功实施过大量商业银行的大数据平台建设、数据分析与专题项目，这些将一定是厂商大数据建设能力的加分项。

以上七大方面是笔者多年来总结的厂商在金融银行业大数据建设、分析、数据应用的能力。在大数据新技术不断涌现、升级换代，金融产品与服务持续创新的时代，不论是想快速切入金融业大数据的新进厂商，还是相对较成熟的大厂商都将是一个不断学习、追赶超越、持续渐进的历程。

【关于作者】

李卓，北京爱狄特信息科技有限公司金融服务部总监。研究方向为大数据平台咨询规划、金融行业模型设计。具有IT行业18年工作经验，10年大数据平台架构规划、金融行业模型设计、数据仓库实施与咨询服务经验。熟悉业界流行的大数据商务、业务及技术生态，丰富的项目管理知识及实践经验。大型项目包括中国邮储银行大数据平台规划、中国邮储银行客管数仓项目、郑商所数仓项目、恒大互联网金融项目、中国移动集团公司的NG2-BASS3.0规范、渠道管理运营平台(CMOP)方案制定等。

来源：数据观

收藏分享

声明：数据猿尊重媒体行业规范，相关内容都会注明来源与作者；转载我们原创内容时，也请务必注明“来源：数据猿”与作者名称，否则将会受到数据猿追责。