检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink性能优化 概述 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pi
云数据库 TaurusDB云数据库 云数据库 云数据库 TaurusDB是华为自研的最新一代企业级高扩展高性能分布式数据库，完全兼容MySQL。基于华为最新一代DFV存储，采用计算存储分离架构，128TB的海量存储，故障秒级切换，既拥有商业数据库的高可用和性能，又具备开源低成本效益。
端侧日志上报慢且易丢失：上报速度小时级，也极易出现丢失，对问题端到端定位分析、业务完整性分析均造成一定影响 业务挖掘分析难：日志数据无法直接写入DLI，需投递到Kafka后，再被DLI消费，链路长，且成本高 解决方案： 业务价值： 端侧日志全面采集接入，自定义域名上报：集成LTS提
开源关系型数据库。RDS for MySQL适用于网站业务、应用程序、中小型企业等场景。 RDS for PostgreSQL：PostgreSQL是一个开源对象云数据库管理系统，并侧重于可扩展性和标准的符合性。RDS for PostgreSQL适用于网站业务、位置应用系统、复杂数据对象处理等场景。
后端数据库通常要求采用通用MySQL数据库（华为云采用RDS for MySQL），以实现跨云双活容灾。 华为云上的应用部署建议方案如下： 类别 实施方案 冗余 ELB、CCE、DCS、Kafka、RDS、DDS等云服务实例均高可用部署。 备份 RDS、DDS数据库自动备份，在数
大数据性能优化 HIVE优化 Spark性能优化 Flink性能优化 父主题： 云服务性能优化介绍
选择合适的非关系型数据库 风险等级 中 关键策略 华为云数据库提供了DDS、GeminiDB两种非关系型数据库服务。 DDS：文档数据库服务（Document Database Service）完全兼容MongoDB协议，提供安全、高可用、高可靠、弹性伸缩和易用的数据库服务，同时提供
数据压缩：对于大量的数据，可以采用压缩算法进行压缩，以减少数据的存储空间和传输带宽。 并行计算：使用并行计算框架，如Apache Spark、Apache Flink等，将计算任务分配到多个节点上并行执行，以提高计算速度和效率。 内存优化：通过调整内存分配和使用策略，如使用内存缓存、
99%的可用性。 跨云应用典型架构为前端无状态应用层+后端数据库，其中前端无状态应用可采用虚拟机或容器（以容器为例，华为云采用CCE），后端数据库通常要求采用通用MySQL数据库（华为云采用RDS for MySQL），以实现跨云容灾。 华为云上的应用部署建议方案如下： 类别 实施方案
接入层指标 Hive连接数，并行SQL数量，输入缓存值（或每批大小）。单HiveServer实例可以处理的最大并发数可以通过参数控制，默认是500，该参数主要受JVM内存和CPU的处理能力的限制。 HiveMetaStore HiveMetaStore连接数，并行SQL数量，语句执行计划。
选择合适的数据库资源 华为云提供了多款数据库服务，不同服务的优化方式和注意事项均有差异，可以通过以下四个不同考虑因素入手，选择合适的数据库资源： 兼容性：一般原则是平替迁移，选择云上数据库，是为了利用云上服务使得生产工作更聚焦到应用层，上云前系统中数据库的选型已经过业务实践的检验
数据库性能优化 以下章节我们结合一些具体建议和案例来说明如何针对数据库的使用进行性能优化： 1.优化数据库配置实践 数据库的配置参数应从具体业务诉求着手，根据实际需要进行设计；华为云在各个数据库云服务中均提供了默认的配置参数，以满足最普遍的业务需要。 华为云提供了多款数据库服务，
量超过11万条，实现了全国多中心运营的架构。 客户痛点： 多云双活场景运维难保障：大规模集群场景，单个云厂商灾备不足以保障业务，需引入双活并行，故障零切换，过程中，客户自建运维平台能力较为欠缺，不足以满足运维需要 无法采集云服务指标信息：客户自建运维体系无法采集到云服务等场景的指标信息，不能满足大屏展示需要
不可把Redis作为数据库使用。 强制 失效时间并非越长越好，需要根据业务性质进行设置。 防止缓存击穿 推荐搭配本地缓存使用Redis，对于热点数据建立本地缓存。本地缓存数据使用异步方式进行刷新。 建议 - 防止缓存穿透 非关键路径透传数据库，建议对访问数据库进行限流。 建议 -
工作量和人为错误，减少了安全漏洞的风险。这样，用户能够将更多精力集中在业务逻辑和应用的安全性上。 相关云服务和工具 云数据库 RDS for MySQL 云数据库 GaussDB 函数工作流 FunctionGraph 云容器实例 CCI 事件网格 EG 父主题： SEC05 运行环境安全
和跨区域的灾备实例之间的单主灾备（详见“云数据库 TaurusDB到云数据库 TaurusDB单主灾备” ），或双主灾备（详见“云数据库 TaurusDB到云数据库 TaurusDB双主灾备”）。 监控告警 配合CES服务，支持对云数据库 TaurusDB的CPU、内存、磁盘、网
共享资源： 采取共享资源的设计，通过协作减少争用延时从而改善整体性能；如多个进程可以从一个数据库的同一部分读取。 并行处理：当并行处理过程的增速能抵消通信开销和资源争用延迟时，执行并行处理。 分散负载原则：通过在不同时间或者不同位置处理冲突负载，从而分散负载：将资源划分为成一些
disk_read_rate 磁盘读取速率 统计ModelArts用户服务的磁盘读取速率。 disk_write_rate 磁盘写入速率 统计ModelArts用户服务的磁盘写入速率。 全量指标可参考ModelArts支持的监控指标文档。 父主题： 云服务性能优化介绍
备实例之间的单主灾备（详见“MySQL到MySQL单主灾备”）或双主灾备（详见“MySQL到MySQL双主灾备”）。 监控告警 配合CES服务，支持对RDS的CPU、内存、磁盘、网络等进行监控和告警。详见“支持的监控指标”。 父主题： RDS云数据库
CE（以CCE为例），后端数据库通常采用RDS for MySQL提供更高性能与可靠性；为满足对应的可用性目标，建议方案如下： 类别 实施方案 冗余 ELB、CCE、DCS、Kafka、RDS、DDS等云服务实例均高可用部署。 备份 RDS、DDS数据库自动备份，在数据故障时使用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
