检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
些云服务。我们的解决方案架构师在与客户进行沟通时,客户通常会提出以下疑问: 是否有一个全局性的视图可以表达构建安全工作负载的整体情况? 在多账号环境以及单账号环境中应该使用哪些云服务? 如何从全局到局部、自顶向下及从不同视角考虑工作负载的安全? 基于以上诉求,我们构建了安全参考架
Flink性能优化 概述 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并发pi
配上合适的压缩算法, 主要可选的压缩算法为Zlib和Snappy。其中Zlib压缩比高,但压缩解压时间比Snappy长,消耗资源比如Snappy多。Snappy平衡了的压缩比和压缩解压的性能。推荐使用Snappy。 尽量使用Map Join减少Shuffle的次数,大幅提升性能 不同SQL语句,完成同一个功能,生成Map
据过大,或者executor中并行度不足,单个task内存不足导致。此时应减少executor数量,增大数据分片。 数据量少,但小文件数量多:减少数据分片,在reduce算子后执行coalesce算子,以减少task数量,减少cpu负载。 使用spark sql查找一个大表,表列
选型MySQL满足用户信息管理、买家信息管理、交易处理的业务需求,选型MongoDB满足商品信息管理的业务需求。 架构设计(性能、可靠性、多区域部署、安全)约束:设计的约束,本质是业务系统在各个维度的具体需求,决定了对数据库能力规格以及资源量的具体要求;对业务性能和可靠性诉求的把
当应用系统中涉及到资源的弹性伸缩时,尤其需要关注弹性伸缩的配置是否会被限制,比如AS弹性伸缩服务中可以配置能创建的最大实例数量,而在过载情况下是否能真的创建出那么多实例,会依赖于ECS弹性云服务器配额、EVS云硬盘配额,当需要弹性公网IP时涉及弹性公网IP配额等,当配额不足时会导致无法创建工作负载进行业务分担,而业务受损。
外部因素的需要而发生。 可以解放运维工程师的任务:为应用的DevOps团队提供自动服务,通过运行的脚本自动执行运维操作步骤。例如,客户引入多租户解决方案时,数据库管理员经常收到创建新数据库的请求。如果为运营人员构建自助服务门户,则可以让他们自己安全地创建空数据库。 通过自动化显著
分区数量越多,对应分区会越小,爆炸半径也越小,运维定位简单,可用性高,但由于资源共享利用率低,所需的成本也越高。 分区数量越少,每个分区的资源多,更容易适合对资源要求较高的大客户,运维管理简单,且资源利用率越高,所需的成本低。 确定分区映射算法。存在以下一些映射算法供参考: 原始除模
数据库性能优化 以下章节我们结合一些具体建议和案例来说明如何针对数据库的使用进行性能优化: 1.优化数据库配置实践 数据库的配置参数应从具体业务诉求着手,根据实际需要进行设计;华为云在各个数据库云服务中均提供了默认的配置参数,以满足最普遍的业务需要。 华为云提供了多款数据库服务,