检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GaussDB(for MySQL)云数据库 云数据库 GaussDB(for MySQL)是华为自研的最新一代企业级高扩展高性能分布式数据库,完全兼容MySQL。基于华为最新一代DFV存储,采用计算存储分离架构,128TB的海量存储,故障秒级切换,既拥有商业数据库的高可用和性能,又具备开源低成本效益。
),或双主灾备(详见“GaussDB(for MySQL)到GaussDB(for MySQL)双主灾备”)。 监控告警 配合CES服务,支持对GaussDB(for MySQL)的CPU、内存、磁盘、网络等进行监控和告警。详见“支持的监控指标”。 父主题: GaussDB(for MySQL)云数据库
连接后端GaussDB(for MySQL)失败 检测:连接失败。 恢复: 应用层进行重试,以应对暂时性故障,如GaussDB(for MySQL)实例正在进行主备切换时;应用故障重试处理可参考“故障重试”。 当GaussDB(for MySQL)实例由于过载导致网络限制时,可参考“RDS的CPU /
RDS:具有低成本、高性能、高安全性、高可靠性等特点。 RDS for MySQL:MySQL是当前应用最广泛的开源关系型数据库。RDS for MySQL适用于网站业务、应用程序、中小型企业等场景。 RDS for PostgreSQL:PostgreSQL是一个开源对象云数据库管理系统,并侧重于可扩展性和标准的符合性。RDS
Spark作为内存计算引擎,需要更多的内存和CPU。用户在规划规格时,应根据当前的业务容量和增长速度,规划合理的内存和CPU资源,特别需要关注以下几点: 当程序运行在yarn-client模式下时,需要关注在driver端汇聚的数据量大小,根据自己的业务场景,为driver设置合理的内存。
使用正确的数据结构:选择合适的数据结构可以大辐提高算法的效率。例如,使用哈希表可以快速查找元素,使用数组可以快速访问元素。 减少内存分配:内存分配是一个耗时的操作。可以通过预先分配内存或者重复使用已分配的内存来减少内存分配。 减少循环次数:循环是一个常见的算法结构,但是循环次数过多会导致程序性能下降。可以通过使用更高效的算法来减少循环次数。
观测性能指标(GaussDB为例) 指标ID 指标名称 指标说明 rds001_cpu_util CPU使用率 该指标用于统计测量对象的CPU使用率。 rds002_mem_util 内存使用率 该指标用于统计测量对象的内存使用率。 rds003_bytes_in 数据写入量 该指标用于统计测
Redis单实例内多DB隔离性较差,Redis开源社区已经不再发展多DB特性,后续不建议依赖该特性。 设置合理的内存淘汰(逐出)策略 合理设置淘汰策略,可以在Redis内存意外写满的时候,仍然正常提供服务。 强制 DCS默认的逐出策略为volatile-lru,请根据业务需求选择。Redis支持的数据逐出策略
备实例之间的单主灾备(详见“MySQL到MySQL单主灾备”)或双主灾备(详见“MySQL到MySQL双主灾备”)。 监控告警 配合CES服务,支持对RDS的CPU、内存、磁盘、网络等进行监控和告警。详见“支持的监控指标”。 父主题: RDS云数据库
常见故障模式 CPU /内存/磁盘/带宽使用率过高 检测:通过CES监控CPU /内存/磁盘/带宽使用率。 恢复: 当CPU/内存使用高时,可根据业务情况,手工修改代理规格或增加代理数量以扩展资源。 当磁盘使用率高时,可根据业务情况,修改实例存储空间支持更大存储空间。 当带宽使用
压缩算法时,需考虑数据的压缩率和压缩耗时。通常压缩率越高的算法,压缩耗时也越高。 压缩方式 压缩比 客户端CPU占用 服务端CPU占用 磁盘占用 broker带宽占用 gzip 中 中 低 中 低 lz4 中 中 中 中 中 zstd 高 中 低 低 低 snappy 低 高 高
6 之后新增的特性。惰性队列的消息会自动存储到磁盘,因此减少了内存的使用率,但是会增加I/O开销,影响吞吐量。使用惰性队列能够更好的把控性能,并且使得集群更加的稳定。和非惰性队列不同,消息不会积累在内存中然后等到内存不足再一次性刷到磁盘,造成队列性能不稳定。如果你需要一次发送大量
CCE集群的CPU /内存/磁盘容量使用率过高 检测:通过AOM监控CCE集群的CPU/内存/磁盘容量使用率。 恢复: 根据业务情况,手工变更集群规格或扩展资源。 CCE节点的CPU /内存/磁盘容量/磁盘IOPS/GPU/GPU缓存使用率过高 检测:通过AOM监控CCE节点的CPU/内存/磁盘
COST07-04 合理降配低负载资源或升配高负载资源 风险等级 中 关键策略 根据工作负载和资源特征选择合适的资源大小或类型。您可通过持续监控资源利用率,发现资源的利用率低于/高于阈值,选择降配或者升配资源来优化成本。 父主题: COST07 管理和优化资源
k执行的情况直接引影响到Hive的性能,如每个任务的大小,任务与资源分配均匀度,任务拆分合理度等。 HDFS:最底层的IO读也是性能的关键,主要考虑的指标是读取和写入的性能,还包括块大小合理设置等。 其中MapReduce/Spark/HDFS组件有自己独立的调优手册及文档,请参
应用层进行过载保护,保障优先业务的运行。 连接后端RDS失败 检测:连接失败。 恢复: 应用层进行重试,以应对暂时性故障,如RDS实例正在进行主备切换时;应用故障重试处理可参考“故障重试”。 当RDS实例由于过载导致网络限制时,可参考“RDS的CPU /内存/磁盘容量/磁盘IOPS/数据库连接数使用率过高”的处理。
数据层:MySQL数据库跨可用区高可用,通过DRS数据复制服务实现跨Region的双向数据库复制与容灾切换;并支持定期自动数据备份,在数据丢失时能快速恢复。OBS对象存储服务同样支持跨Region的双向复制能力。 为了保证数据的可靠性,RDS for MySQL、DDS数据库的数据定期自动备份。
COST07-01 持续监控资源利用率指标 风险等级 高 关键策略 持续地在组织中定义资源的核心利用率指标(如CPU利用率,内存,CDN服务的流量,数据库的TPS),按(天、周、月)等时间周期发现规律,对低利用率资源的应用/项目进行审查。 父主题: COST07 管理和优化资源
信息。主要关注:WAITING 状态线程数、TIMED_WAITING 状态线程数、可使用内存等指标 进程监控 进程监控是针对主机内活跃进程进行的监控,默认采集活跃进程消耗的 CPU、内存,以及打开的文件数量等信息。当您配置了自定义进程监控,还会监控包含关键字的进程个数。主要关注
预先干预。关键事件监控可以使用CTS服务,或自行搭建。 CES服务支持ECS、EVS、OBS、VPC、ELB、AS等IaaS服务,以及RDS数据库,DCS、DMS等高可用中间件的主要指标监控,支持用户上报自定义监控指标。如果用户自行搭建监控系统,也可以通过CES SDK获取指定服务的监控指标。