天云大数据最佳实践案例：某大型股份制商业银行历史数据在线存储查询分析系统

大数据天云大数据商业银行数据查询

天云大数据 | 2016-09-07 15:39

【数据猿导读】基于大数据平台的历史数据在线存储查询分析系统，是天云大数据公司依托自身强大的科研能力和实践经验而研发的，它是一套基于Hadoop技术自主研发的企业级大数据平台--BDP（BeagleData Platform），并结合了HBase数据库、Solr全文搜索引擎的系统。本文将分享天云在金融领域的最佳实践案...

来源：数据猿作者：天云大数据

查询时效关乎客户体验

经过数年的发展，某大型股份制银行已经基本形成了客户历史交易数据查询体系，其核心业务系统通常只能提供短则几个月、多则一年左右的客户历史交易明细，单次查询时间段跨度最长为三个月，一年以前的客户历史交易数据多以光盘库、磁带库的形式存放，查询效率低且成本高。传统银行面临互联网金融挑战的今天，对用户需求响应的时效性非常关键，是面向客户转型的重要基础。但目前光盘查询库中数据不完整，光盘查询系统提供的每次查询时间段最长期限较短，客户要求查询历史明细时间跨度较长(如5-10年)或账户较多时工作量过大。光盘查询库中数据来源于多个系统，数据格式不统一，客户感受度较差，这已经严重影响了客户体验。针对当前客户历史交易数据原本存放在磁带库和光盘库中，查询效率较低、工作量较大的实际情况，为了能更好的满足客户和外部有权机构等对于历史交易数据的查询要求，提高业务处理能力，缩短业务办理时间，改善客户体验，天云大数据公司利用最新的大数据开发技术，结合行业特点，为该大型股份制银行研制开发了一套基于Hadoop平台技术的历史数据在线存储查询分析系统。

大数据让数据查询插上翅膀

天云大数据公司的这套历史数据在线存储查询分析系统，很好地解决了传统银行客户历史数据查询所遇到的问题，它是一套基于Hadoop技术自主研发的企业级大数据平台--BDP(BeagleData Platform)，并结合了HBase数据库、Solr全文搜索引擎的系统。该系统通过对历史存储备份数据的数据治理，整合客户多代应用系统的历史明细数据，实现了历史数据统一在线存储备份;提供了在线实时/异步、长时间跨度和多条件的查询功能;可提供全量数据建模分析，充分利用数据价值，方便客户使用。

众所周知，Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop是一个分布式基础架构，作为一种大数据处理技术，它具有低硬件成本、易扩展、高性能、高可用性、高可靠性、高容错性等优点。基于Hadoop技术研发的BDP企业级大数据平台，具有开放的架构，所有组件之间的交互利用标准的接口，具备很强的开放性。它对于开源Hadoop组件不进行任何修改，只进行参数调优，使BDP完美兼容任意版本的Hadoop，升级整个Hadoop版本或单一组件版本不会对整个平台有任何影响。随着集群的规模越来越大，在集群上线前期，部署需要占用的时间和精力也越来越多。Hadoop作为分布式计算平台，虽然可以很容易的处理海量数据，但是部署步骤较为繁琐。BDP企业级大数据平台的自动化部署不仅支持部署Hadoop，包括集群、主机、服务等在内均可自动化部署完成。它的自动化部署，保障了版本的一致性，可以帮助用户快速搭建Hadoop集群，大大提高了部署效率。它还对每类服务都提供了一些个性化的功能，如对Hadoop提供了配额、权限、机架感知、健康检查、副本分布等个性化功能;针对HBase则提供了配额、权限、版本快照与恢复等功能。

BDP企业级大数据平台是一套面向数据库，中间件，安全等成熟计算环境，集成了几十个成熟的Hadoop子项目，整合了资源运维管理和数据处理的流程管理，融合了十几个可直接调用的计算框架模版而最终形成的面对大数据进行存储、计算、查询、建模四大应用方向的基础平台产品。可以为各行业用户的大数据应用场景提供稳定、高效、安全、可扩展、易使用、快速部署、便于维护的整体解决方案。可以无缝对接上层多种主流应用产品，如SAS、Pentaho、Talend、Tableau、R Studio等先进的商业智能和数据挖掘工具。它拥有两大层功能特点，一是基础平台功能，二是应用支撑功能。基础平台功能面向海量复杂数据的存储、计算、查询、挖掘;应用支撑功能面向上层应用开发的快速、简单、兼容、创新。

产品技术架构：

以BDP企业级大数据平台为基础，结合HBase数据库、Solr全文搜索引擎技术研发的历史数据在线存储查询分析系统，不但继承了BDP的优良特性，同时也整合了HBase、Solr的相关特性。说到HBase，它是一个分布式的、面向列的开源数据库，不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库;另一个不同是HBase是基于列而不是基于行的模式。它是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群;而Solr则是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引;也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。Solr是一个高性能的全文搜索服务器。它的主要特性包括：高效、灵活的缓存功能，垂直搜索功能，高亮显示搜索结果，通过索引复制来提高可用性，提供一套强大Data Schema来定义字段，类型和设置文本分析，提供基于Web的管理界面等。

逻辑架构：

与传统的基于关系型数据库的解决方案相比，该系统解决方案成本更低、稳定性更好、处理效率显著提高，并很好地解决了海量数据处理的性能瓶颈问题，系统具备分布式系统所特有的良好的可扩展性，该系统主要功能包括：全量数据存储，实现离线数据全量汇总入库，提供统一格式存储;统一格式查询，形成统一的报文查询接口，支持多种格式报文查询;模型化分析，针对特定业务场景，提炼分析模型，分析全量数据，输出分析结果。

数据入库处理流程：

创新实现社会经济效益双丰收

在这套历史数据在线存储查询分析系统中，出现了不少技术创新和业务亮点。如在技术创新方面：分布式架构，带来易扩展、高性能、低硬件成本;双中心、双集群、双活、双Namenode，带来系统高可用性;多数据副本均衡分布，带来数据高可用性等。业务亮点有：大数据实时在线快速查询，提高效率;PDF加水印防篡改，加强风险防控;多种查询方式，提升服务水平;长时间跨度查询，减少柜员工作量;整合数据，提高数据质量，统一客户体验;提供查询日志，查询留痕迹，控制风险等。

数据查询处理流程：

社会效益：提高了业务办理效率，也提升了客户服务质量，客户或外部有权机构查询多个账户或长时间段查询时，从光盘库查询，一次交易只能查询一个账户一个月的交易数据，或通过技术手段从原阳光卡系统、原Minter系统、数据仓库或者核心业务系统获取，再经人工核对完整性，通常需要数小时甚至几天，到历史数据查询系统一个交易完成，1分钟内即可拿到结果的提升;线下数据线上化，盘活数据资产，发挥数据价值，通过本系统的建设，将躺在磁带库中的数据放到了线上，进行了全量数据的完整性校验，使其可以直接提供在线查询服务;国内银行业首家将Hadoop技术应用落地，为银行迎接“大数据时代”进行了有益探索，对Hadoop技术的研讨付诸于实践，使Hadoop技术与银行运营体系深度结合，是对银行数据支持平台的一次勇敢创新，为银行迎接“大数据”时代积累了宝贵经验。

经济效益：做到了成本节约，人力成本+系统硬件成本，通过本系统建设，可减少现有人员在历史数据查询方面所投入的时间和精力，从而达到降低投入成本的作用。根据业务价值评估，首年节省人力成本几百万元，随着系统的长期使用，节省的人工成本将会更多。本系统的建设，由传统技术方案转为使用分布式架构方案，在保证性能，具备更好的扩展性的基础上，在硬件成本上节约90%;对于探索低成本高效率的新技术应用，基于分布式架构的Hadoop技术具备低硬件成本、易扩展性、高性能、高可用性等特点，并且其支持非结构化数据，在银行大数据域建设中会有广泛的应用前景。

通过安装部署天云大数据公司研发的历史数据在线存储查询分析系统，不但帮助该大型股份制银行缩短了业务办理时间，满足了客户及外部监管机构需求;还可减少查询次数和人工操作，提高业务办理效率;也可以减少数据传输和流转环节，防止泄密，同时提升安全控制能力;同时又可详细记载查询记录，明确责任，提高管理能力。让该大型股份制银行获得了良好的社会经济效益，而且还帮助该银行荣获了IDC中国金融行业最佳创新项目奖的殊荣。

注：本文由 天云大数据 投稿数据猿发布

欢迎更多大数据企业、爱好者投稿数据猿，来稿请直接投递至：tougao@datayuan.cn

来源：数据猿

收藏分享

声明：数据猿尊重媒体行业规范，相关内容都会注明来源与作者；转载我们原创内容时，也请务必注明“来源：数据猿”与作者名称，否则将会受到数据猿追责。