检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
钉钉/HTTP多渠道通知。 一站式日志加工:200+函数、一站式日志规整、富化、脱敏、过滤、分裂加工平台。 日志数据服务间集成:日志转储OBS/DWS/DIS/DLI/DMS,助力用户快速构建水平解决方案。 父主题: 卓越运营云服务介绍
中间件层:Redis、Kafka集群跨可用区高可用部署,单个AZ故障对业务没有影响。 数据层:RDS与DDS数据库及OBS对象存储跨可用区高可用部署,单个AZ故障对业务没有影响。 为了保证数据的可靠性,RDS数据库的数据定期自动备份到OBS,在数据丢失时可以快速恢复。 父主题: 参考架构
云审计服务CTS 日志账号 集中存储和查看所有账号的审计日志和安全相关的日志(如VPC流日志和OBS访问日志等) 合规审计团队 云审计服务CTS、云日志服务LTS、对象存储服务OBS等 安全云脑SecMaster、数据安全中心DSC、云审计服务CTS、配置审计Config 运维监控账号
可用、弹性伸缩、自动备份、跨AZ容灾、跨Region容灾等高可用能力的基础设施与云服务,便于客户构建高可靠的系统。例如: EVS云硬盘、OBS对象存储采用分布式存储,可避免单个硬盘、单个服务器或单个机架等硬件故障的影响。 RDS数据库提供自动数据备份、跨AZ和跨Region的数据复制与切换。
其他物理服务器中自动恢复,恢复过程中与ECS的通信会中断,需要重试。 实例由于过载导致无法及时响应,需要重试。 RES09-01 API及命令调用需要设计为可重试 RES09-02 客户端需要根据综合评估是否要重试 RES09-03 重试需要避免造成流量压力 父主题: 故障快速恢复
还要考虑安全会话管理、防SQL注入、防跨站脚本攻击XSS、防跨站请求伪造CSRF等编码规范。 对于C/C++语言,要考虑缓冲区溢出漏洞、命令注入、危险函数、内存泄露、指针越界、数组读写越界等安全风险。 对于JavaScript语言,要考虑容易受到XSS攻击的安全风险。 父主题:
数据层:每个可用区各部署一套RDS数据库,通过DRS数据复制服务实现跨AZ的双向数据库复制与容灾切换;并支持定期自动数据备份,在数据丢失时能快速恢复。OBS对象存储跨可用区高可用部署,单个AZ故障对业务没有影响。 为了保证数据的可靠性,RDS数据库的数据定期自动备份。 父主题: 电商类应用典型部署架构(99
设置并行度:用户可以根据实际的内存,CPU,数据以及应用程序逻辑的情况调整并行度参数。任务的并行度可以按优先级从高到低排列,由算子层次、执行环境层次、客户端层次、系统层次这四种层次指定。 配置进程参数:配置JobManager内存、TaskManager个数、TaskManager
等可靠性关键事件也是服务健壮性的表征,如有异常需要预先干预。关键事件监控可以使用CTS服务,或自行搭建。 CES服务支持ECS、EVS、OBS、VPC、ELB、AS等IaaS服务,以及RDS数据库,DCS、DMS等高可用中间件的主要指标监控,支持用户上报自定义监控指标。如果用户自行搭建监控系统,也可以通过CES
接入层指标 Hive连接数,并行SQL数量,输入缓存值(或每批大小)。单HiveServer实例可以处理的最大并发数可以通过参数控制,默认是500,该参数主要受JVM内存和CPU的处理能力的限制。 HiveMetaStore HiveMetaStore连接数,并行SQL数量,语句执行计划。
或用户界面的交互。 使用性能测试工具编写脚本,考虑参数化、动态数据处理等因素。 调试脚本,例如脚本错误、缺少或不正确的操作或与数据相关的问题,测试脚本的准确对于帮助确保准确可靠的性能测试执行至关重要。 配置测试变量和参数: 在测试脚本中配置变量和参数,以模拟真实场景请求。 包括多用
弹性伸缩。 中间件层:Redis、Kafka集群跨可用区高可用部署,单个AZ故障对业务没有影响。 数据层:GaussDB与DDS数据库及OBS对象存储跨3AZ高可用部署,数据分布式强一致,单个AZ故障对业务没有影响,数据零丢失。 为了保证数据的可靠性,GaussDB与DDS数据库的数据定期自动备份。
端到端跟踪请求消息 RES08 您如何减少依赖影响? 减少强依赖项 依赖采用松耦合 减少被依赖项故障的影响 RES09 您如何进行重试? API以及命令调用需要设计为可重试 客户端需要根据综合评估是否需要重试 重试需要避免造成流量压力 RES10 您如何进行故障隔离? 应用控制平面与数据平面隔离
和测试环境。持续交付是一种将代码更改推送到这些环境的自动化方式。 Telemetering 遥测 遥测是对被测量对象的参数进行远距离测量的一种技术。是将对象参数的近距离测量值传输至远距离的测量站来实现远距离测量的技术,并把测得结果传送到接收地点进行记录、显示和处理的活动。 CMDB
数据层:MySQL数据库跨可用区高可用,通过DRS数据复制服务实现跨Region的双向数据库复制与容灾切换;并支持定期自动数据备份,在数据丢失时能快速恢复。OBS对象存储服务同样支持跨Region的双向复制能力。 为了保证数据的可靠性,RDS for MySQL、DDS数据库的数据定期自动备份。 父主题:
YARN上,能够接入HDFS、HBase、Hive等多种数据源,支持MapReduce程序平滑转接。 集群服务部署规划 服务规模与业务容量参数配置对照表 Spark作为内存计算引擎,需要更多的内存和CPU。用户在规划规格时,应根据当前的业务容量和增长速度,规划合理的内存和CPU资源,特别需要关注以下几点:
提高系统的可用性和性能。 数据分区:将数据按照一定的规则分成多个分区,以便更好地进行数据处理和计算。 网络优化:通过优化网络带宽、延迟等参数,以提高数据传输的速度和效率。 数据清洗和预处理:在进行大数据处理之前,对数据进行清洗和预处理,以提高数据的质量和准确性,减少后续计算的错误率和计算量。
通常需要通过代码采集,例如嵌入代码片段或将工具集成到应用程序代码中。通过应用的性能数据,可以识别性能瓶颈、评估系统行为、识别可用性风险、规划容量等指标。 常用应用性能监控策略有: APM 工具:可用使用云上APM 工具或者开源的APM工具和分析性能数据(指标、日志、调研链) 使用
序异常的情况。 Kubernetes提供了三种健康检查的探针: 存活探针:livenessProbe,用于检测容器是否正常,类似于执行ps命令检查进程是否存在。如果容器的存活检查失败,集群会对该容器执行重启操作;若容器的存活检查成功则不执行任何操作。 就绪探针:readiness
OPS01-03 规划标准化的运维流程和运维工具 风险等级 高 关键策略 流程和工具是经验的承载,通过标准化的流程,可以大幅降低在运维过程中因为个人的因素受到的影响和无序化。 通过标准化的、统一的运维工具,向运维人员提供集中、统一维护界面及清晰易上手的操作手册,方便运维人员的集中维护,提高运维效率。常见的运维流程有: