检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark作为内存计算引擎,需要更多的内存和CPU。用户在规划规格时,应根据当前的业务容量和增长速度,规划合理的内存和CPU资源,特别需要关注以下几点: 当程序运行在yarn-client模式下时,需要关注在driver端汇聚的数据量大小,根据自己的业务场景,为driver设置合理的内存。 根据自己的业务目标
内部知识管理类应用通常用于内部操作,且在故障时只会对内部员工造成影响,可以承受较长的恢复时间和恢复点,其可用性目标通常要求达到99.9%,即每年中断时间可以为8.76小时。 导致业务中断的时间包含故障中断时间及由于升级配置维护等导致的中断时间,假定分别中断时间如下: 故障中断:假定每年故障中断4次
金融类核心应用通常比较重要,要求非常短的恢复时间和数据丢失量,其可用性目标通常要求达到99.999%,即每年故障时间可以为5.26分钟。 假定故障中断与变更中断的时长分别如下: 故障中断:由于要求的故障中断时间很短,要求尽可能自动恢复,没有手动触发的恢复,假定每年故障中断4次,每次自
用户个人数据转移给第三方前须经过用户同意,符合合法性原则。 转移的目的和范围不能超出收集时所声明的目的和范围。 必须保证个人数据的准确性、完整性和最新状态,保证在任何阶段和环节不能随意篡改、删除、滥用个人数据。 输出者必须获得接收者的明确承诺,保证个人数据的完整性、准确性和安全性,防止滥用及不正当披露。
DMS分布式消息服务 DMS分布式消息服务支持以下各种消息类型: Kafka版:基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 RabbitMq版:完全兼容开源RabbitMQ,提供即开即用、消息特性丰富、灵活路由、高可用、
按照IT工作职能划分用户组,将用户加入到与其匹配的用户组中。用户组是IAM用户的集合,IAM可以通过用户组功能实现用户的授权。 优先基于用户组授权,而不是基于用户授权。 “admin”为系统缺省提供的管理员用户组,具有所有云服务资源的操作权限。避免将所有用户都加入admin用户组。
考对应组件的调优。本文档重点讨论上述的1,2,3部分的性能调优的内容,并结合MapReduce/Spark的进行调优说明。 批处理业务 批处理主要特点是耗时时间长,消耗的资源比较多,主要的调优和设计推荐如下: 尽量使用ORC File, 配上合适的压缩算法, 主要可选的压缩算法为
OPS01-01 建立持续学习和改进的文化 风险等级 高 关键策略 由于系统的独特性和复杂性,没有放之四海皆准的方案,为了达到卓越运营,需要不断改进这些最佳实践,并建立自己的最佳实践。所以,在所有最佳实践的第一条,就是在您的团队中培养持续学习和改进的文化。 而持续学习和改进需要鼓励团
据库行为,形成细粒度的审计报告,对风险行为和攻击行为进行实时告警,对数据库的内部违规和不正当操作进行定位追责,保障数据资产安全。 启用数据库安全审计告警。通过设置告警通知,当数据库发生设置的告警事件时,用户可以收到 DBSS 发送的告警通知,及时了解数据库的安全风险。 使用云堡垒
记录攻击和异常行为并对其分析:应在关键网络节点处(例如内外网的交界处、ELB流量转发处等)检测、防止或限制网络攻击行为;应采取技术措施对采集的安全日志进行持续监控和分析,实现对网络攻击特别是新型网络攻击行为和异常行为的识别和分析。 风险等级 高 关键策略 在发生安全事件之前,可以
OPS02 通过CI/CD实现高效的频繁可逆的小规模变更 OPS02-01 进行需求管理和迭代开发 OPS02-02 关联源代码版本和部署的应用版本,使用代码质量最佳实践 父主题: 卓越运营支柱
OPS01 建立持续改进的团队文化和标准化的运维体系 OPS01-01 建立持续学习和改进的文化 OPS01-02 规划标准化的运维组织 OPS01-03 规划标准化的运维流程和运维工具 父主题: 卓越运营支柱
业务本身也没有改造的计划,建议按照原来IDC的部署模式,采用ECS或者BMS的形式进行应用部署,以满足应用和业务本身的性能诉求。 如果借助上云的机会业务侧也会做容器化和微服务的改造,上云时选择容器化(CCE/CCI)进行部署。 如果本身业务已经是微服务化的形式,建议上云时考虑容器服务(CCE/CCI)进行部署。
PERF03-09 选择合适的RabbitMQ 风险等级 中 关键策略 版本选择:RabbitMQ服务版本随时间更迭,选择版本时需注意查看不同版本状态与区分,详情可参考官方公告。 规格选择:RabbitMQ服务提供了不同规格实例可供选择,建议按照业务需求对比,选择合适的规格型号,具体实例规格请参考官方文档。
OPS03-02 使用多个环境进行集成测试,构建和生产环境相同的预生产环境 风险等级 高 关键策略 开发者测试虽然成本低,但是缺乏对生产环境配置以及不同服务和应用之间实际交互的验证。为此,您的组织可以在云上提供多个环境,典型的环境包含测试环境,预生产环境和生产环境。在生产环境部署之前
成后,或者定期的大规模检视。 培训团队成员: 提供培训以确保团队成员了解如何进行有效的代码检视。 确保团队了解代码检视的目的和重要性,以及如何识别常见问题和潜在的安全漏洞,建议将常犯的TOP问题整理成清单,在开发人员编写代码后自检以及他人检视时进行对照。 选择合适的工具: 使用代
PERF03-07 选择合适的Kafka 风险等级 中 关键策略 根据生产流量、消费流量、老化时间、副本数等指标,计算业务所需的规格,选择合适的Kafka规格。 规格测算: 性能容量维度所需最小节点数 = max((存储带宽需求 / 单节点存储带宽),(网络带宽需求 / 单节点网络基准带宽))
PERF03-08 选择合适的RocketMQ 风险等级 中 关键策略 RocketMQ服务提供了多个维度定义规格,如资源规格、代理个数、存储容量、单个代理TPS、单个代理Topic数上限、单个代理消费组数上限等,建议根据不同版本涉及的具体规格情况选择合适的RocketMQ服务。 详
内存密集型业务(如大数据处理、图像/视频处理、游戏开发、数据库等场景)主要消耗内存和存储维度的容量。 存储密集型业务(如大型数据库、大数据分析、大规模文件存储、编译构建等场景)可能会比较消耗存储的带宽。 根据业务的特征选择合适的虚拟机类型和规格。具体的虚拟机类型规格请参考官方文档。 相关云服务和工具 弹性云服务器
HBase的基础上进行扩展和优化,具有高性能、高可靠性、强大的扩展性和灵活的伸缩性等特点,适用于金融、电信、物流、游戏等场景。 同关系型数据库一样,非关系型数据的选择同样主要基于兼容性与场景评估两个原则: 场景一:基于兼容性原则 考虑平滑上云,上云前系统中数据库的选型已经过业务