检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
关键策略 国家已启动“东数西算”工程，将东部发达地区的数据，传输到西部算力资源丰富的地区进行运算、存储。西部数据中心综合成本有明显优势，低PUE低能耗，如贵阳资源价格比广州上海等区域低10%左右。企业可将灾备、离线分析、转码、运维等对网络要求低的系统部署在贵阳、乌兰察布，降低资源成本。
大数据性能优化 HIVE优化 Spark性能优化 Flink性能优化 父主题： 云服务性能优化介绍
PERF05-04 大数据场景资源优化 风险等级 中 关键策略 在大数据场景下，可以通过优化资源的使用和分配，提高系统的性能和效率。以下是一些常见的大数据场景资源优化方法： 分布式存储：使用分布式存储系统，如Hadoop HDFS、Apache Cassandra等，将数据分散存
华为云中网络高可用主要涉及三个场景： 公有云网络：构建应用系统相关的公网网络连接的高可用，可减少由于网络连接中断而导致的业务中断。 混合云网络：对于自建本地数据中心（IDC）或使用其他云的用户，基于业务发展需要将部分业务部署到华为云时，将涉及到混合云网络互连；应用系统跨云部署时（如跨云主备容灾或双活
RES01-02 应用组件多位置部署 应用组件需要部署在多个数据中心，以避免单个数据中心故障而导致业务中断。 风险等级 高 关键策略 可根据不同需求，将应用的数据和资源部署在多个位置： 应用多AZ部署：应用应尽可能部署在多个可用区，避免由于单个可用区故障而导致所有业务中断。 应用
机的分层部署架构。 应用系统在主备Region各部署一套完整系统，主备Region间数据同步；Region内跨AZ高可用部署，提供同城跨数据中心双活能力；Region间数据支持数据异步实时同步，采用主备容灾，在一个Region故障的情况下能快速将业务恢复到另一个Region。 接
此外DNS自身也需要冗余容错，避免由于DNS故障而导致域名解析失败，业务中断。 混合云组网场景链路冗余与倒换方案： 双DC专线冗余：用户数据中心与华为云VPC之间采用两条DC专线互通；其中两条物理专线接入同区域的两个华为云专线接入点，并通过BGP路由协议接入同一个VPC，用户可设
应用系统采用无状态应用+有状态数据库的分层部署架构。 应用系统在两个Region各部署一套完整系统，Region内跨AZ高可用部署，提供同城跨数据中心双活能力；Region间数据单元化部署，实现跨Region双活容灾，在任一Region故障的情况下能快速恢复业务。 接入层（外部GSLB
应用系统采用无状态应用+有状态数据库/虚拟机的分层部署架构。 应用系统在IDC/其他云与华为云中各部署一套完整系统；华为云采用跨AZ部署，可以实现云内应用层跨数据中心双活；云间数据支持将它云数据实时同步到华为云，采用主备容灾，在IDC/其他云故障的情况下能快速容灾切换到华为云。 接入层（外部DNS、A
数据持久性 OBS通过存储介质的慢盘/坏道检测、AZ内设备和数据冗余、AZ之间数据容灾、跨区域复制等技术方案，提供针对介质、服务器、机柜、数据中心和区域的多级可靠性保障。其数据持久性高达99.9999999999%（12个9），可用性高达99.995%，远高于传统架构。详见“OBS的持久性和可用性如何
应用系统采用无状态应用+有状态数据库的分层部署架构。 该应用系统在华为云单个Region部署一套完整系统，采用跨AZ部署，可以实现云内应用层跨数据中心双活。 接入层（外部DNS）：通过外部DNS进行域名解析与流量负载均衡，单个AZ故障对业务没有影响。 应用层（ELB负载均衡器、应用软件
部署架构。 该应用系统在华为云单个Region部署一套完整系统，采用跨AZ部署，其中有状态虚拟机采用跨AZ主备复制，可以实现云内应用层跨数据中心主备容灾。 接入层（外部DNS）：通过外部DNS进行域名解析与流量负载均衡，单个AZ故障对业务没有影响。 应用层（负载均衡器、应用软件及
Flink性能优化 概述 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pi
DEW：提供密钥管理、凭据管理、密钥对管理、专属加密功能，安全可靠为用户解决数据安全、密钥安全、密钥管理复杂等问题。 云证书管理服务 CCM：为云上海量证书颁发和全生命周期管理的服务。目前它可以提供SSL证书管理和私有证书管理服务。 数据库安全服务 DBSS：基于机器学习机制和大数据分析
HIVE优化 概述 Hive架构 Hive提供了Hadoop的SQL能力，主要参考标准的SQL，Hive进行了部分的修改，形成了自己的特有的SQL语法HQL（Hive SQL），更加适合于Hadoop的分布式体系，该SQL目前是Hadoop体系的事实标准。 Hive调优 用户输入
数据量少，但小文件数量多：减少数据分片，在reduce算子后执行coalesce算子，以减少task数量，减少cpu负载。 使用spark sql查找一个大表，表列数较多，但是查找的列较少：尽量使用rcfile或parquet格式，减少文件读取成本，同时选择合适的压缩格式，减少内存负载。 指标观测方法
优质体验。 Direct Connect 用于搭建用户本地数据中心与华为云VPC之间高速、低时延、稳定安全的专属连接通道，实现灵活一体，可伸缩的混合云计算环境。 VPN 安全的远程连接到华为云或者本地资源，将已有数据中心无缝扩展到华为云上。 混合组网 CC 提供构建、管理和监控全
高 关键策略 在设计网络拓扑时，仔细检查每个组件的连接要求，例如是否需要互联网可访问性（入站和出站）、连接到VPC的能力、边缘服务和外部数据中心等。除非资源必须接收来自公网的网络流量，否则不要将资源放置在VPC的公有子网中。 对于入站和出站流量，应采用深度防御方法。例如对入站流量
系统韧性设计主要涉及以下两个方面： 确保系统具有高可用的架构，如无单点故障 各种故障场景下的恢复能力，如数据丢失、设备或站点故障等场景均能恢复 相对于传统数据中心，华为云可以提供具备高可用、弹性伸缩、自动备份、跨AZ容灾、跨Region容灾等高可用能力的基础设施与云服务，便于客户构建高可靠的系统。例如：
应用系统采用无状态应用+有状态数据库的分层部署架构。 应用系统在其他云与华为云中各部署一套完整系统；华为与采用跨AZ部署，可以实现云内应用层跨数据中心双活；云间数据单元化部署，并支持将它云数据实时同步到华为云，实现双活容灾，在第三方云故障的情况下能快速容灾切换到华为云。 接入层（外部G
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
