检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink性能优化 概述 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并发pi
GaussDB(for MySQL)云数据库 云数据库 GaussDB(for MySQL)是华为自研的最新一代企业级高扩展高性能分布式数据库,完全兼容MySQL。基于华为最新一代DFV存储,采用计算存储分离架构,128TB的海量存储,故障秒级切换,既拥有商业数据库的高可用和性能,又具备开源低成本效益。
实例”。 数据备份和恢复 GaussDB(for MySQL)实例支持自动备份和手动备份,您可以定期对数据库进行备份,当数据库故障或数据损坏时,可以通过备份文件恢复数据库,从而保证数据可靠性。 GaussDB(for MySQL)支持同区域备份与跨区域备份;跨区域备份是将备份文件
RDS:具有低成本、高性能、高安全性、高可靠性等特点。 RDS for MySQL:MySQL是当前应用最广泛的开源关系型数据库。RDS for MySQL适用于网站业务、应用程序、中小型企业等场景。 RDS for PostgreSQL:PostgreSQL是一个开源对象云数据库管理系统,并侧重于可扩展性和标准的符合性。RDS
连接后端GaussDB(for MySQL)失败 检测:连接失败。 恢复: 应用层进行重试,以应对暂时性故障,如GaussDB(for MySQL)实例正在进行主备切换时;应用故障重试处理可参考“故障重试”。 当GaussDB(for MySQL)实例由于过载导致网络限制时,可参考“RDS的CPU /
数据压缩:对于大量的数据,可以采用压缩算法进行压缩,以减少数据的存储空间和传输带宽。 并行计算:使用并行计算框架,如Apache Spark、Apache Flink等,将计算任务分配到多个节点上并行执行,以提高计算速度和效率。 内存优化:通过调整内存分配和使用策略,如使用内存缓存、
数据库性能优化 以下章节我们结合一些具体建议和案例来说明如何针对数据库的使用进行性能优化: 1.优化数据库配置实践 数据库的配置参数应从具体业务诉求着手,根据实际需要进行设计;华为云在各个数据库云服务中均提供了默认的配置参数,以满足最普遍的业务需要。 华为云提供了多款数据库服务,
端侧日志上报慢且易丢失:上报速度小时级,也极易出现丢失,对问题端到端定位分析、业务完整性分析均造成一定影响 业务挖掘分析难:日志数据无法直接写入DLI,需投递到Kafka后,再被DLI消费,链路长,且成本高 解决方案: 业务价值: 端侧日志全面采集接入,自定义域名上报:集成LTS提
大数据性能优化 HIVE优化 Spark性能优化 Flink性能优化 父主题: 云服务性能优化介绍
disk_read_rate 磁盘读取速率 统计ModelArts用户服务的磁盘读取速率。 disk_write_rate 磁盘写入速率 统计ModelArts用户服务的磁盘写入速率。 全量指标可参考ModelArts支持的监控指标文档。 父主题: 云服务性能优化介绍
的数据恢复到云数据库RDS新实例或已有实例上,数据验证无误后即可将数据迁回云数据库RDS主实例,完成数据回溯。 详见“备份原理及方案”。 存储自动扩容 RDS支持存储空间自动扩容,在实例存储空间达到阈值时,会触发自动扩容。详见“存储空间自动扩容”。 跨AZ容灾 RDS支持跨AZ高
接入层指标 Hive连接数,并行SQL数量,输入缓存值(或每批大小)。单HiveServer实例可以处理的最大并发数可以通过参数控制,默认是500,该参数主要受JVM内存和CPU的处理能力的限制。 HiveMetaStore HiveMetaStore连接数,并行SQL数量,语句执行计划。
选择合适的非关系型数据库 风险等级 中 关键策略 华为云数据库提供了DDS、GeminiDB两种非关系型数据库服务。 DDS:文档数据库服务(Document Database Service)完全兼容MongoDB协议,提供安全、高可用、高可靠、弹性伸缩和易用的数据库服务,同时提供
工作量和人为错误,减少了安全漏洞的风险。这样,用户能够将更多精力集中在业务逻辑和应用的安全性上。 相关云服务和工具 云数据库 RDS for MySQL 云数据库 GaussDB 函数工作流 FunctionGraph 云容器实例 CCI 事件网格 EG 父主题: SEC05 运行环境安全
99%的可用性。 跨云应用典型架构为前端无状态应用层+后端数据库,其中前端无状态应用可采用虚拟机或容器(以容器为例,华为云采用CCE),后端数据库通常要求采用通用MySQL数据库(华为云采用RDS for MySQL),以实现跨云双活容灾。 华为云上的应用部署建议方案如下: 类别
99%的可用性。 跨云应用典型架构为前端无状态应用层+后端数据库,其中前端无状态应用可采用虚拟机或容器(以容器为例,华为云采用CCE),后端数据库通常要求采用通用MySQL数据库(华为云采用RDS for MySQL),以实现跨云容灾。 华为云上的应用部署建议方案如下: 类别 实施方案
选择合适的数据库资源 华为云提供了多款数据库服务,不同服务的优化方式和注意事项均有差异,可以通过以下四个不同考虑因素入手,选择合适的数据库资源: 兼容性:一般原则是平替迁移,选择云上数据库,是为了利用云上服务使得生产工作更聚焦到应用层,上云前系统中数据库的选型已经过业务实践的检验
共享资源: 采取共享资源的设计,通过协作减少争用延时从而改善整体性能;如多个进程可以从一个数据库的同一部分读取。 并行处理:当并行处理过程的增速能抵消通信开销和资源争用延迟时,执行并行处理。 分散负载原则:通过在不同时间或者不同位置处理冲突负载,从而分散负载:将资源划分为成一些
不可把Redis作为数据库使用。 强制 失效时间并非越长越好,需要根据业务性质进行设置。 防止缓存击穿 推荐搭配本地缓存使用Redis,对于热点数据建立本地缓存。本地缓存数据使用异步方式进行刷新。 建议 - 防止缓存穿透 非关键路径透传数据库,建议对访问数据库进行限流。 建议 -
数据层:MySQL数据库跨可用区高可用,通过DRS数据复制服务实现跨Region的双向数据库复制与容灾切换;并支持定期自动数据备份,在数据丢失时能快速恢复。OBS对象存储服务同样支持跨Region的双向复制能力。 为了保证数据的可靠性,RDS for MySQL、DDS数据库的数据定期自动备份。