华为云数据仓库服务DWS是一种基于华为云基础架构和平台的在线数据分析处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务,为各行业PB级海量大数据分析提供有竞争力的解决方案。
DWS提供存算一体、存算分离多种产品形态,围绕企业级内核、实时分析、协同计算、融合分析、云原生五大方向构筑数据仓库。
- 存算一体:面向数据分析场景,为用户提供高性能、高扩展、高可靠、高安全、易运维的企业级数仓服务,支持2048节点、20PB级超大规模数据分析能力,适用于“库、仓、市、湖”一体化的融合分析业务。
- 存算分离:采用存算分离云原生架构,计算、存储分层弹性伸缩,极致性价比,采用多逻辑集群(Virtual Warehouse,以下简称VW)共享存储技术,实现不同负载的计算隔离和并发扩展,适用于OLAP分析场景。
1.超强扩展、极致算力,多层级高可靠技术支持
集群规模超强扩展能力,支持存储10PB级业务数据;
多层级全并行计算,实现算的更快,满足业务更高的SLA要求;
软件多层级HA、多层级备份、硬件全冗余设计,保证系统的鲁棒性,业务7x24全天候在线。
2.高并发交互式查询秒级响应,分析效率全面提升
单集群480节点,装机容量20PB,支撑数据分析、集市、BI等各种场景;
通过分布式查询优化,实现高并发点查询秒级/毫秒级响应;
资源融合统一,灵活调配,多层级并行计算,效率最优。
3.HTAP混合负载,按需弹性,仓湖一体
混合负载:“一库两用”,支持超过100万QPS、10万TPS高并发混合读写,支持事务强一致;
资源管理:可以根据业务优先级进行资源动态分配,实现“快慢通道”;
按需扩容:弹性按需扩容,灵活应对用户数据及负载潮汐变化;
仓湖一体:DWS可以直接读写OBS对象存储系统的数据,支持数据冷热分级。
4.多源数据融合,实时数据迅捷分析
复杂SQL实时查询,10+表格联合运算,秒级返回结果
实时入仓批流融合60万/秒/节点,T+0完成数据分析
多源数据融合,一站式统一平台,助力非传统数仓工程师便捷使用数据
多应用场景,打造大数据时代新型数据仓库
1.数据仓库迁移
数据仓库是企业的重要数据分析系统,随着业务量的增长,自建数仓性能逐渐不能满足实际要求,同时扩展性差、成本高,也使扩容极为困难。DWS作为云上企业级数据仓库,具备高性能、低成本、易扩展等特性,满足大数据时代企业数据仓库业务诉求。
2.大数据融合分析
随着信息技术的发展和进步,数据资源已经成为企业的核心资源。整合数据资源,构建大数据平台,发现数据价值,成为企业经营的新趋势和迫切诉求。而如何从海量数据中快速挖掘“价值”,成为助力用户实现预测性分析的关键要素。
3.实时数据分析
移动互联网场景下会产生大量实时数据,为了快速获取数据价值,需要对数据进行实时分析,DWS的快速入库和查询能力可支持实时数据分析。
4.湖仓一体
无缝访问数据湖:对接Hive Metastore元数据管理,直接访问数据湖的数据表定义,无需用户创建外表,只需创建external schema即可;支持主要数据格式:ORC,Parquet。
融合查询:混合查询数据湖和仓内的任意数据。查询一步到位输出到仓内/数据湖,无需额外数据中转拷贝。
极致查询性能:使用数仓高质量的查询计划和高效的执行引擎。使用数仓的负载管理手段,精准控制。
5.实时写入
提供H-Store存储引擎,微批数据存放在本地,周期合并到OBS存储,支持高吞吐实时写入与更新,同时支持大批量写入场景。
数据实时写入并经实时计算之后,可以用于实时大屏、实时分析、实时监控、实时风控、实时推荐。
6.多计算组支持业务隔离和极致弹性(存算分离架构)
通过多计算组(Virtual Warehouse,简称VW)实现业务的负载隔离,相比资源管理的软隔离,基于VW的虚拟机级别的硬隔离可以最大化的降低业务间的互相影响。支持多经典VW和多弹性VW。
注:本文素材来自华为云,版权归作者所有
热门跟贴