检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
重新启动服务器、创建帐户以及将日志传输到数据存储。这些任务可能会按计划发生,作为对事件或监视警报的响应,或者根据外部因素的需要而发生。 可以解放运维工程师的任务:为应用的DevOps团队提供自动服务,通过运行的脚本自动执行运维操作步骤。例如,客户引入多租户解决方案时,数据库管理员
网络的分区是将网络划分为多个部分,以隔离不同敏感性要求的网络流量和资源,从而增加网络的安全性。 风险等级 高 关键策略 通过网络分区,可以实现以下目的: 隔离敏感数据:将敏感数据和应用程序隔离在独立的网络分区中,以减少未经授权访问的风险。 可扩展性:分区和分层可以帮助管理和扩展复杂的网络架构,使其更易于维护和扩展。
rtition个数。 任务容易出现内存溢出:部分数据分片较大,单个task处理数据过大,或者executor中并行度不足,单个task内存不足导致。此时应减少executor数量,增大数据分片。 数据量少,但小文件数量多:减少数据分片,在reduce算子后执行coalesce算子,以减少task数量,减少cpu负载。
分层管理密钥。最少把密钥分为两层,即:根密钥和工作密钥,根密钥为工作密钥提供加密保护。 使用安全的随机数生成器来生成密钥,确保密钥的随机性和不可预测性。避免使用弱密钥或者固定密钥。 传输密钥: 使用安全的通信渠道传输密钥,如加密通道或者物理传输。 确保传输过程中密钥不被窃取或篡改。 使用密钥: 最小
选择合适的存储云服务 了解数据特征(如可共享、大小、访问模式、延迟、吞吐量和数据持久性),以便为您的工作负载选择合适的专用数据存储。 PERF03-05 选择合适类型的存储云服务 父主题: PERF03 性能建模
响业务,时间在半分钟内。 数据备份和恢复 DCS支持将当前时间点的实例缓存数据备份并存储到OBS中,以便在缓存实例发生异常后能够从备份数据进行恢复。DCS实例支持定时和手动两种备份方式,定时备份频率以天为单位,最多保存7天,但至少会保留一个数据备份文件;手动备份由用户触发,通常在
素: 评估合适网络云服务,主要考虑如下性能指标: 网络流量:评估工作负载的预期网络流量,了解数据传输需求和网络请求的频率。 带宽要求:确定工作负载的带宽要求,考虑通过网络传输和接收的数据量。 网络延迟:评估工作负载所需的延迟,使用专用虚拟网络和主干网络,而不是遍历公共Internet。此方法可降低工作负载的延迟。
实例时,需要借助其他云服务或应用层实现跨AZ容灾;以ECS为例: 对于无状态ECS实例,可利用AS弹性伸缩服务的跨AZ伸缩能力,或ELB跨AZ负载均衡能力,实现跨AZ高可用,在一个可用区故障时能自动快速切换。 对于有状态ECS实例,或BMS实例,建议从应用层实现跨AZ容灾,支持跨
Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并发pipeline处理数据,时延毫秒级,且兼具可靠性。 集群服务部署架构
实时日志告警:自定义告警内容,短信/邮件/微信/钉钉/HTTP多渠道通知。 一站式日志加工:200+函数、一站式日志规整、富化、脱敏、过滤、分裂加工平台。 日志数据服务间集成:日志转储OBS/DWS/DIS/DLI/DMS,助力用户快速构建水平解决方案。 父主题: 卓越运营云服务介绍
向第三方披露个人数据合规性 在将个人数据分享、转移或提供给第三方时,数据控制者必须遵守相关的法律法规和隐私保护准则,以确保数据转移活动符合法律规定并尊重数据主体的权利。 风险等级 高 关键策略 产品需评估是否存在将个人数据推送给第三方应用。评估是否存在高度敏感的用户数据在未获得用户明
云服务性能优化介绍 缓存性能优化 消息队列性能优化 Serverless性能优化 数据库性能优化 人工智能性能优化 大数据性能优化 父主题: 性能效率支柱
OBS对象存储服务 对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,提供海量、安全、高可靠、低成本的数据存储能力。 可靠性功能 常见故障模式 父主题: 云服务可靠性介绍
配置IAM的登录验证策略,如会话超时策略、账号锁定策略、账号停用策略、最近登录提示等。 配置IAM的网络访问控制策略。限制用户只能从特定 IP 地址区间、网段及 VPC Endpoint 访问华为云。 多个账号或多个IAM用户间使用不同的密码。 禁止将用户的密码共享给其他人,而是为每个
可用部署。 数据层:MySQL数据库高可用,通过DRS数据复制服务实现跨云的数据库复制与容灾切换;并可定期自动备份数据,在数据丢失时快速恢复业务。OBS对象存储服务同样支持跨Region复制能力。 为了保证数据的可靠性,RDS数据库的数据定期自动备份到OBS,在数据丢失时可以快速恢复。
云数据库 TaurusDB云数据库 云数据库 云数据库 TaurusDB是华为自研的最新一代企业级高扩展高性能分布式数据库,完全兼容MySQL。基于华为最新一代DFV存储,采用计算存储分离架构,128TB的海量存储,故障秒级切换,既拥有商业数据库的高可用和性能,又具备开源低成本效益。
对审计日志进行保护并定期备份,避免受到未预期的删除、修改或覆盖。可以同步开启审计日志的文件校验,保障审计文件的完整性,防止文件被篡改。 集中管控运维账号访问系统和资源的权限,对系统和资源的访问权限进行细粒度设置。 关于数据的安全审计见:SEC07-03 对数据操作实施监控 相关云服务和工具 云审计服务 CTS:用
上云后,数据库层与应用层不兼容),上云过程中采用云上同样生态的数据库进行平替,是首要的决策依据。 可迁移性:针对数据库上云迁移,解决方案要具备平滑迁移的能力;结合数据库迁移服务所提供的能力,评估迁移上云过程中,数据库的切换对业务系统中其他组件的影响(如服务中断的影响、数据转移效率
和操作。 可以包括页面、执行事务或与系统负载的各种混合场景。 确定数据模型: 确定运行测试方案所需的测试背景数据。 可以创建或生成各种场景、用户配置文件或数据量的实际数据集。 确保测试数据多样化并涵盖不同的场景数据,以提供全面的性能评估。 设计测试脚本: 创建执行定义的测试方案的测试脚本。
在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况,业务数据不均衡会降低Kafka集群的性能,降低资源使用率。 业务数据不均衡原因 业务中部分Topic的流量远大于其他Topic,会导致节点间的数据不均衡。 生产者发送消息时指定了分区,未指定的分区没有消息,会导致分区间的数据不均衡。 生产者发送