检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark性能优化 概述 Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去。
Flink性能优化 概述 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline
风险等级 高 关键策略 云服务的关键操作包含高危操作（如创建IAM用户、删除IAM用户、重启虚拟机、变更安全配置等）、成本敏感操作（创建、删除高价资源等）、业务敏感操作（网络配置变更等）。 启用关键操作通知功能。
相关云服务和工具 弹性负载均衡 ELB：支持业务负载均衡处理，还支持后端服务器健康状态检测，自动隔离异常状态的ECS。 父主题： RES13 过载保护
CES提供对监控指标的告警功能，当云服务的状态变化触发告警规则设置的阈值时，系统提供邮件和短信通知，用户可以在第一时间知悉业务运行状况，还可以通过HTTP、HTTPS将告警信息发送至告警服务器，便于用户构建智能化的程序处理告警。 父主题： SEC09 安全感知及分析
实现对数据库账号口令、服务器口令、SSH Key、访问密钥等各类型凭据的统一管理、检索与安全存储。 使用数据加密服务DEW中的凭据管理服务（CSMS）定期轮换凭证。 使用IAM委托。委托操作权限给云服务或者其它账号。
实例由于故障重启可能会导致通信中断，如ECS所在物理服务器由于硬件原因故障时，ECS重启或在其他物理服务器中自动恢复，恢复过程中与ECS的通信会中断，需要重试。 实例由于过载导致无法及时响应，需要重试。
华为云服务实例支持主动横向或纵向扩容功能；如对于ECS实例可以通过创建多个ECS实例实现横向扩容，也可升级ECS规格实现纵向扩容；对于RDS实例可升级RDS实例规格实现纵向扩容。 父主题： RES13 过载保护
对于Web应用的API，必须使用HTTPS来加密客户端和服务器之间的通信。 数据完整性验证：使用哈希函数、数字签名、消息认证码（MAC）等方法来验证数据的完整性，以确保数据在传输过程中没有被篡改。
PERF03-07 选择合适的Kafka 风险等级 中 关键策略 根据生产流量、消费流量、老化时间、副本数等指标，计算业务所需的规格，选择合适的Kafka规格。 规格测算： 性能容量维度所需最小节点数 = max（（存储带宽需求 / 单节点存储带宽），（网络带宽需求 / 单节点网络基准带宽
PERF03-08 选择合适的RocketMQ 风险等级 中 关键策略 RocketMQ服务提供了多个维度定义规格，如资源规格、代理个数、存储容量、单个代理TPS、单个代理Topic数上限、单个代理消费组数上限等，建议根据不同版本涉及的具体规格情况选择合适的RocketMQ服务。
例如： EVS云硬盘、OBS对象存储采用分布式存储，可避免单个硬盘、单个服务器或单个机架等硬件故障的影响。 RDS数据库提供自动数据备份、跨AZ和跨Region的数据复制与切换。
PERF03-06 选择合适的消息队列 风险等级 中 关键策略 三种不同版分布式消息服务的适用场景如下： Kafka：兼容开源Kafka，适用构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景，有大规模、高可靠、高并发访问、可扩展且完全托管的特点。 RocketMQ：兼容开源
PERF03-09 选择合适的RabbitMQ 风险等级 中 关键策略 版本选择：RabbitMQ服务版本随时间更迭，选择版本时需注意查看不同版本状态与区分，详情可参考官方公告。 规格选择：RabbitMQ服务提供了不同规格实例可供选择，建议按照业务需求对比，选择合适的规格型号，具体实例规格请参考官方文档
WAF、AAD等 安全云脑SecMaster、云审计服务CTS、配置审计Config 公共服务账号 集中部署和管理企业的公共资源、服务和应用系统，并共享给其他所有成员账号使用 公共服务管理团队 镜像服务IMS、容器镜像服务SWR、弹性文件服务SFS、对象存储服务OBS、自建NTP服务器
电子商务类应用典型架构为前端无状态应用层+后端数据库，其中前端无状态应用可采用ECS或CCE；后端数据库基于不同业务类型可采用不同数据库，通常采用RDS for MySQL；同时通常还会使用DCS、Kafka等中间件及DDS文档数据库；为满足对应的可用性目标，建议采用以下方案。
选择合适类型的计算云服务 选择合适规格的虚拟机和容器节点 使用弹性伸缩 选择合适类型的网络云服务 选择合适类型的存储云服务 选择合适的消息队列 选择合适规格的Kafka 选择合适规格的RocketMQ 选择合适规格的RabbitMQ 选择合适的关系型数据库 选择合适的非关系型数据库
应用层（负载均衡器、应用软件及虚拟机）：对于无状态应用，通过ELB负载均衡器进行故障检测与负载均衡，并通过AS弹性伸缩服务监控负载进行弹性伸缩；对于有状态应用，通过SDRS服务实现跨云的虚拟机数据复制与容灾切换，并可通过CBR服务进行自动数据备份。
创建安全的虚拟机镜像或者容器镜像。 使用第三方工具进行安全性分析：使用第三方静态代码分析工具和依赖关系检查工具来识别常见的安全问题和漏洞，确保代码的安全性和合规性。 应用其他测试方法：除了工具的使用，还需要在应用程序级别进行测试，如使用模糊测试来查找和修复潜在的漏洞和错误。
选择合适网络服务资源 选择合适的网络服务资源是一个复杂的过程，需要考虑许多因素。以下提供了一些主要因素： 评估合适网络云服务，主要考虑如下性能指标： 网络流量：评估工作负载的预期网络流量，了解数据传输需求和网络请求的频率。 带宽要求：确定工作负载的带宽要求，考虑通过网络传输和接收的数据量
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
