【金猿技术展】Kyligence 智能分层存储——PB级规模数据的全场景OLAP
原创 Kyligence | 2021-12-27 23:16
【数据猿导读】 智能分层存储是 Kyligence 提供的高级功能，搭载性能强大的 Clickhouse，帮助用户在未进行预计算的情况下快速冷启动进行查询，可以显著提升超多维度灵活分析和明细查询的性能。同时，基于 HDFS/对象存储和 Clickhouse 的两级存储设计，可全面覆盖各种分析场景，为用户带来基于海...
智能分层存储不仅能够支持多维度随机组合的灵活即席查询场景，比如标签分析或用户行为分析等场景，为企业的精细化运营和辅助商业决策带来更大的助力；同时分层存储可对接 Kyligence 统一的模型来管理数据，无缝对接主流商业 BI 工具和 Excel ，赋能业务人员进行分析。
(图片来源：Kyligence)
智能分层存储技术的核心亮点，就在于其分层架构的合理设计以及对不同技术底座的有机融合。在原有聚合分析的高性能之上，Kyligence 更有效提升了明细分析、Ad-Hoc 查询等场景的性能和优势。Kyligence 在产品存储的架构进行了分层设计：
• 第一层：MPP 引擎层——将数据存储在 ClickHouse 引擎中（目前仅存放表索引）
• 第二层：分布式存储层——将数据存储在 HDFS /对象存储中（存放预计算后的聚合索引）
• 第三层：查询下压层——查询可下推到其他数据源，如 SparkSql 以及各类 RDBMS 系统
启用智能分层存储后，用户无需关心数据是如何分布和导入的，只需要根据业务需求进行建立模型，这样可以大幅度地减少建模和模型调优阶段的人力和时间成本支出， 缩减新业务的上线周期， 从而帮助用户更及时地响应业务分析需求。
具体来看智能分层存储支撑的业务场景：
(图片来源：Kyligence）
智能分层存储的分层结构可以很好的支撑企业过去用一套架构不能方便支持的场景，比如现在最流行的用户画像分析场景。此场景下，企业需要具备以下能力：
• 开箱即用的标签管理、筛选、导出、集成能力；
• 支持用户圈选、导出、比对、即席分析、分组统计等场景；
• 支持日均更新百万条标签、数千标签量、上亿用户；
• 支持实时或离线的特征计算，以及海量特征标签存储。
Kyligence 的智能分层存储功能为企业提供了一个高效的解题思路。通过以下能力能从多个维度满足企业在用户画像场景下的需求：
1. 快速圈选，指标聚合：
• 支持用户对数千标签、上亿用户的快速圈选，在圈选后自由进行指标聚合；
2. 开箱即用，无缝导出：
• 提供开箱即用的工具，能够与查询引擎无缝对接；
• 提供标签管理、筛选、圈选后导出能力；
3. 开放生态，保护投资：
• 通过多种接口协议与第三方标签分析平台、BI 平台无缝对接；
• 支持与主流标签生成引擎及存储对接，支持对接业务系统；
• 保护已有技术投资、降低用户学习成本。
除了用户画像以外，智能分层存储还可应用于如用户行为分析、自助式灵活探索分析等在内的诸多应用场景和数据探索方式。
·带队负责人：Kyligence CTO 李扬、产品创新中心副总裁李栋等。
·隶属机构：Kyligence
Kyligence 已服务中国、美国及亚太的多个金融、制造、零售等行业客户，包括建设银行、浦发银行、招商银行、平安银行、宁波银行、太平洋保险、中国银联、上汽、一汽、安踏、YUMC、Costa、UBS、Metlife、AppZen 等全球知名企业和行业领导者。
Kyligence 获得了来自红点、思科、宽带资本、顺为资本、斯道资本、Coatue Management、浦银国际、中金资本旗下基金、歌斐资产、国方资本、ASG、宏兆基金、浦信资本等投资机构的多轮投资。目前公司已经在上海、北京、深圳、厦门、武汉及美国的硅谷、纽约、西雅图等开设办事机构。
Kyligence 使得我们的业务团队可以高效、敏捷地访问数据，获取正确的业务信息，从而快速做出精准的业务决策。
——中国银联数据服务部副总经理 王颖卓
我们都知道做数据产品的时候对性能和并发的要求是绕不过的一个槛，而Kyligence 作为我们数据服务的引擎，在数据湖和数据应用之间搭起了一个桥梁，满足了自助查询平台过于低延迟和高并发的要求。
——欣和集团数据平台负责人 王相会
来源：数据猿
我要评论
活动推荐more >
- 【大会嘉宾】威马汽车集团战2021-08-02
- 【大会嘉宾】联通智慧足迹CM2021-08-02
- 2018 上海国际大数据产业高2018-12-03
- 2018上海国际计算机网络及信2018-12-03
- 中国国际信息通信展览会将于2018-09-26
- 第五届FEA消费金融国际峰会62018-06-21
