【金猿产品展】Transwarp Data Hub：企业级一站式大数据综合平台

金猿产品展 TranswarpDataHub 企业级大数据一站式大数据数据猿

星环科技 | 2019-11-22 17:30

【数据猿导读】星环科技产品

Transwarp Data Hub（简称TDH）是星环信息科技（上海）有限公司研发的企业级大数据平台, 经过数年的快速演进, 不断发展成熟, 在邮政、交通、金融等行业获得了大量的部署实施经验，同时向新生的大数据技术领域进行积极的拓展和探索。

Transwarp Data Hub主要提供5类核心产品：分析型数据库(Transwarp Inceptor和Transwarp ArgoDB)，实时流计算引擎(Transwarp Slipstream)，知识库(Transwarp Search和Transwarp StellarDB)，操作型数据库(Tran- swarp Hyperbase)，数据科学平台(Transwarp Discover)。通过部署、安装、使用TDH，企业能够更有效的利用数据构建核心商业系统，加速商业创新。

应用场景／人群

数据仓库：
逻辑型数据仓库
操作型实时数据仓库
多租户交互型BI分析
HaaS & AaaS

机器学习：
交互型数据挖掘和机器学习
客户和市场分析
风险和预测分析

物联网：
智能运维系统
实时监控，告警，预测
运算，成本优化，预测分析

信息检索：
大规模搜索引擎
基于图计算的社交行为分析
公共安全

产品功能

分析性数据库

分析型数据库是面向分析型应用的数据库，主要涵盖了批处理，数据仓库等离线业务，也可以用来支撑在线统计，在线分析，即席查询，多维度数据检索等业务。

Transwarp Inceptor是一款用于批处理和数据仓库的分析型数据库。它支持SQL 2003标准、Oracle PL/SQL以及DB2 SQL PL，对Oracle、DB2以及Teradata 都有很好的方言支持。Inceptor的另一大优势是对ACID的支持，可以满足用户对数据处理中一致性和可靠性保障的需求。此外，Inceptor拥有极为优异的大数据分析性能，比Apache Hadoop处理速度快10倍以上，比MPP处理速度快5倍以上，在TPC-DS和TPC-H基准测试中也胜于其他Hadoop和MPP产品。目前，Inceptor被广泛地应用于数据仓库和数据集市的构建，在中国，已经有超过500家客户在Inceptor上创建了他们自己的商业应用。

Transwarp ArgoDB是一款可以用来支撑在线统计，在线分析，即席查询，多维度数据检索等业务的分析型数据库。借助闪存在吞吐量方面的巨大的优势，闪存+ArgoDB的组合可以取代多种架构和多款产品共存的局面，在一套产品里就可以同时应对用户的多个需求(在线统计，在线分析，即席查询，多维度数据检索等)。ArgoDB针对闪存列存格式专门开发了纯向量化的计算引擎，既可以快速读取批量存储文件，也可以高速地响应少量数据的简单查询和复杂查询。基于分布式一致性协议Raft实现的存储引擎，可以实现数据平台的稳定性和可靠性，并且可以使用标准化的手段统一运维管理所有的存储格式。通过基于闪存的列式存储格式，可以获得优秀的分析性能，同时加入多种辅助索引技术，极大地增强了数据的检索性能，能更好地适配混合型的业务场景。

实时流计算引擎：随着流处理技术的不断发展，客户可以使用流处理引擎开发出越来越复杂的实时应用，总体上流处理应用可以分为两类：实时数据集成和实时数据分析。实时数据集成是现代数据架构的基本需求，也是现在企业想要充分发挥大数据、云计算等技术的重要一步。实时数据集成主要功能是进行实时ETL，对实时数据进行清洗、过滤、加工之后，存到目标数据存储，包括实时数据存储、大数据存储以及传统关系数据库等，并在此之上构建不同的应用。实时数据分析则主要应用在复杂分析场景。通过对实时数据进行统计计算、和历史数据关联分析等复杂处理，生成高阶的汇总的信息，实时展示Dashboard，同时可以辅助领导层进行决策判断。另外通过复杂事件模式、规则等判断，分析出海量数据中存在的风险和机遇，以便及时作出响应。

Transwarp Slipstream是提供实时计算的产品，被广泛用于交通运输和物联网行业。和其他解决方案相比，Slipstream有几个突出的技术优势：完整的SQL支持使得实时业务开发过程更加简便；基于事件驱动的计算引擎可将延迟时间缩减到5毫秒，是Spark Streaming引擎的延时的1/100；此外Slipstream支持复杂事件处理能力（CEP），因此用户可以基于Slipstream用SQL语言开发比较复杂的在线流计算业务。Slipstream还提供完善的高可用性（HA）和Exactly-Once语义，而这些都是使实时应用稳定、可靠的保障。另外，Slipstream提供了实时任务控制平台Slipstream Studio用于管理并监控实时任务的各种状态和性能指标。

知识库

在知识库这类场景中，数据类型主要包括复杂类型、文档类型或其他非结构化数据，业务围绕知识、信息、关系的检索分析等内容展开。知识库可以提供信息的模糊检索，关系的精确查询及分析等能力，还可以与人工智能结合，以提供更为丰富的业务算法。

Transwarp Search用于在企业内部构建大数据搜索引擎。Search支持Word/Excel/PDF/CSV/互联网数据/图片/音影等非结构化数据格式的存储和检索；能够在PB数据量级上实现秒级延迟的搜索功能；在开发接口方面，Search提供了完整的SQL语法支持并提供了搜索语法SQL扩展，通过和Inceptor优化器有效结合，使开发者无需了解底层架构就可以开发出高效的搜索引擎。Search中的时空数据库模块为空间数据和时空数据提供高效的存储、检索和分析计算服务，提供针对轨迹类型的复杂查询。Search时空数据库模块支持包括点、线、多边形、集合类型在内的OGC定义的标准图形类型，支持基于WMTS协议的瓦片服务，支持伴随分析、轨迹相似度匹配等时空数据库算法。

Transwarp StellarDB是一款为企业级图应用而打造的分布式图数据库，用于快速查找数据间的关联关系，并提供强大的算法分析能力。StellarDB克服了海量关联图数据存储的难题，通过自定义图存储格式和集群化存储，实现了传统数据库无法提供的低延时多层关系查询，支持企业级图数据的存储、查找、分析和展现。结合原生存储引擎和计算引擎， StellarDB可以轻松实现数千亿边规模的海量图存储，实时数据插入更新，10层以上深度链路查询，以及复杂算法分析。StellarDB在很多行业都有广泛的应用，包括电商、金融、公安和社交网络领域等。

操作型数据库

操作型数据库是面向在线业务的一类数据库，这类数据库可以提供数据的实时增删查改能力，同时还能确保库内数据的一致性。

Transwarp Hyperbase是一款采用了多项创新性技术的NoSQL操作型数据库，用来解决企业级用户经济灵活高效地管理数据的需求，可以在普通廉价服务器集群上实现PB级别数据量的高效在线OLTP应用。Hyperbase采用Inceptor SQL 引擎，允许开发者直接利用SQL构建复杂应用，实现极速的数据入库和信息检索能力。支持全局索引和二级索引，实现高速的非主键查询；提供原生的JSON/BSON格式支持以及对象存储（Object Store）技术，极大地简化了非结构化数据处理。

产品优势

极致的性能与可扩展性

TDH的批处理速度是开源Hadoop的10-100倍，是MPP的5-10倍，可以对从GB到PB级的数据量实现复杂的查询和分析。TDH具有高可扩展性，用户可以通过增加集群节点数量，线性提高系统的处理能力。

简易的操作和管理

Transwarp Manager是专门用于部署、管理和运维TDH集群的组件。它支持产品一键安装、一键升级和图形化运维，并提供了预警和健康检测功能，帮助用户简化运维过程。

完整的SQL和ACID支持

Transwarp Inceptor 和Transwarp ArgoDB 是实现完整SQL支持的分布式分析型数据库。Inceptor 和ArgoDB 不仅支持SQL2003，兼容Oracle PL/SQL和IBM SQL/PL，还实现了完整的ACID/分布式事务和CRUD增删查改功能。Inceptor和ArgoDB提供JDBC和ODBC驱动连接，方便第三方工具运行于TDH之上。

基于闪存的高性能引擎

Transwarp ArgoDB分析型数据库借助闪存在吞吐量方面的巨大的优势，闪存+ArgoDB的组合可以取代多种架构和多款产品共存的局面，在一套产品里就可以同时应对用户的多个需求。

低延迟的流处理

Transwarp Slipstream是在事件驱动计算引擎上支持批处理等复杂编程模型的流处理引擎，计算延迟最低可至
5ms。它支持SQL 2003、存储过程、CEP、规则引擎、流式积分、流式机器学习等复杂编程模型，还支持高可用性（CEP）和 Exactly-Once的语义，从而支持7×24小时的生产业务。

大数据上的全文搜索

Transwarp Search支持通过SQL实现大数据上的秒级全文搜索，它利用层次化存储、堆外内存管理等创新性技术，极大的提高了系统的可用性。此外，Search还可以结合Inceptor提供较强的数据分析能力。

图数据库与图分析

Transwarp StellarDB是一款为企业级图应用而打造的分布式图数据库，用于快速查找数据间的关联关系，并提供强大的算法分析能力，通过自定义图存储格式和集群化存储，实现了传统数据库无法提供的低延时多层关系查询。

丰富的机器学习功能

Transwarp Discover支持用户通过R语言和Python开发机器学习项目，也可以用图形化的工具做分析，提供了多种算法和行业模型。

图形化的大数据开发工具套件

Transwarp Studio是TDH中的大数据开发工具集，包括数据治理Catalog、工作流引擎Workﬂow、数据整合工具Transporter、数据建模工具Rubik、报表工具Pilot。用户可以使用这些图形化工具来提高大数据的开发效率，降低技术门槛。

多样化的数据处理功能

Transwarp Hyperbase 用于存储和计算结构化或非结构化数据，包括日志记录、JSON/XML文件以及二进制数据（如图像和视频）。Hyperbase底层是KV数据库，因此其非常适合高频次的数据入库、高并发精确检索等业务。

容器技术与大数据平台

TDH可部署于TCOS 之上。TCOS是为大数据应用量身订做的云操作系统，支持一键部署TDH、扩容、缩容，同时支持基于优先级的抢占式资源调度和细粒度资源分配。

统一的安全/多租户管理

Transwarp Guardian是TDH平台中实现安全控制和资源管理的中央服务平台，它支持Kerberos和
LDAP认证，可以做细粒度的权限控制，并且提供租户管理功能。

兼容开源大数据生态

TDH对开源大数据生态提供良好的融合能力，包括兼容Hadoop 2.7.4、Kafka 0.10.2.0等，另外在兼容的基础上还弥补了开源软件在安全和稳定方面的问题与缺陷。

服务客户／使用人数

星环大数据平台TDH在金融、交通、电力、能源、政府、物流、公共安全、电信运营商、零售、媒体、制造业、教育、医疗等细分领域落地，服务用户超过1600家。
市场价值

完成传统架构向大数据架构转变：

•横向扩展的存储能力
•横向扩展的计算能力
•不停机扩容能力
•低廉的软硬件成本

数据驱动的大数据创新应用：

•大规模数据仓库与交互式数据集市业务
•基于非结构化数据的综合搜索业务
•基于多源数据深层关系的数据挖掘业务
•基于实时数据的即时研判业务

建立健全数据治理体系：

•统一的数据存储与处理平台
•提高数据质量和数据可信度
•促进监管合规和安全管控
•提供更好的领导决策能力

产品页面：
http://www.transwarp.cn/transwarp/product-TDH.html categoryId=18

产品所属企业·星环科技：

星环科技专注于企业级容器云计算、大数据和人工智能核心平台的研发,领航大数据与人工智能基础软件新纪元。公司以上海为总部，以北京、广州、新加坡为区域总部，在南京、郑州、成都设有支持中心，同时在深圳、天津、武汉等地设有办事机构，并在美国和加拿大设有海外分支机构。

经过多年自主研发，星环科技建立了多个产品系列：基于容器的智能大数据云平台Transwarp Data Cloud ( TDC )、一站式大数据平台Transwarp Data Hub ( TDH )、智子人工智能平台Transwarp Sophon和超融合大数据一体机TxData Appliance，并拥有多项专利技术。2016年被Gartner评为全球最具有前瞻性的数据仓库及数据管理解决方案厂商，2017年被IDC评为中国大数据市场领导者。公司产品已经在二十多个行业应用落地，2018年，星环科技成为12年来全球首个完成TPC-DS测试并通过官方审计的数据库厂商。目前星环科技已完成D2轮融资。

来源：数据猿

收藏分享

声明：数据猿尊重媒体行业规范，相关内容都会注明来源与作者；转载我们原创内容时，也请务必注明“来源：数据猿”与作者名称，否则将会受到数据猿追责。