检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
esos或者YARN上,能够接入HDFS、HBase、Hive等多种数据源,支持MapReduce程序平滑转接。 集群服务部署规划 服务规模与业务容量参数配置对照表 Spark作为内存计算引擎,需要更多的内存和CPU。用户在规划规格时,应根据当前的业务容量和增长速度,规划合理的内存和CPU资源,特别需要关注以下几点:
概述 本章节以典型Web应用为例,介绍不同可用性目标要求下部署的典型架构示例。针对每种场景,从以下几个维度进行设计,来达成可用性目标。 类别 应用可用性影响 冗余 应用内组件的高可用能力,在应用内部分节点故障时业务自动恢复能力 备份 应用数据被破坏的情况下的恢复能力 容灾 在Re
Join减少Shuffle的次数,大幅提升性能 不同SQL语句,完成同一个功能,生成Map Reduce的数量越少越好 Hive系统默认是典型的配置场景,结合业务实际情况,可以做一些参数的调整,如文件块的大小,Map个数与Reduce的个数,压缩算法等。 合理的使用分区,分区数量不要太多,查询的SQL尽量指定具体的分区值;
参考架构 概述 内部工具或公测类应用典型部署架构(99%) 内部知识管理类应用典型部署架构(99.9%) 信息管理类应用典型部署架构(99.95%) 电商类应用典型部署架构(99.99%) 金融类核心应用典型部署架构(99.999%) 跨云场景典型部署架构(99.99%) 父主题: 韧性支柱
RES15-03 自动化回滚 在升级或部署过程中出现异常,或检查/测试失败时,支持自动回滚,减少人工干预,避免回滚失败。 风险等级 高 关键策略 检测到异常后,可一键式回滚。 回滚过程自动化完成。 父主题: RES15 升级不中断业务
RES15 升级不中断业务 软件版本在重新部署或升级过程中,需要尽可能避免业务中断,减少业务影响。 RES15-01 自动化部署和升级 RES15-02 自动化检查 RES15-03 自动化回滚 RES15-04 灰度部署和升级 父主题: 变更防差错
对于跨Region容灾场景,应用系统可在多个Region中部署,并将数据从一个Region复制到另一个Region,以便在发生地区级服务中断或数据丢失时可进行灾难恢复。 对于跨云容灾场景,当应用系统已部署在IDC或其他云中,可以在华为云中另外部署一套系统并将数据从IDC或其他云复制到华为云中
RES01 冗余 RES01-01 应用组件高可用部署 RES01-02 应用组件多位置部署 RES01-03 云服务器反亲和 父主题: 高可用设计
Management,简称APM)帮助运维人员快速发现应用的性能瓶颈,以及故障根源的快速定位,为用户体验保驾护航。 您无需修改代码,只需为应用安装一个APM Agent,就能够对该应用进行全方位监控,帮助您快速定位出错接口和慢接口、重现调用参数、发现系统瓶颈,从而大幅提升线上问题诊断
SEC07-05 传输数据的加密 对传输中的数据进行加密处理,以确保数据在传输过程中不被未经授权的访问者所窃取、篡改或查看。 风险等级 高 关键策略 使用加密协议:确保在数据传输过程中使用安全的加密协议,以加密数据并保护其在传输过程中不被窃取或篡改。使用最新的TLS版本(如TLS
会将其自动恢复到负载均衡服务中,承载业务流量。 详见“健康检查介绍”。 跨AZ容灾 ELB采用集群化部署,支持多可用区的同城多活容灾,无缝实时切换。 ELB支持后端服务器多AZ部署,当某个AZ出现故障时,ELB仍可将流量转发到其他AZ的后端ECS处理,提高应用系统容灾能力。 监控告警
DDS:文档数据库服务(Document Database Service)完全兼容MongoDB协议,提供安全、高可用、高可靠、弹性伸缩和易用的数据库服务,同时提供一键部署、弹性扩容、容灾、备份、恢复、监控和告警等功能,适用于游戏、物联网业务、互联网应用等多个场景。 GeminiDB Redis接口:GeminiDB
SEC06-02 建立安全编码规范 应用安全涉及需求、设计、实现、部署多个环节,实现的安全是应用安全的重要一环。建立安全编码规范有助于团队编写更安全、更高质量的代码,减少甚至规避由于编码错误引入的安全风险。 风险等级 高 关键策略 发布团队常用编程语言的安全编码规范。通用的安全编
成本来完成容灾架构部署。应用系统可设计为使用分布在多个可用区中的资源池,并利用云服务实例本身具备或应用自身支持的跨AZ数据复制与切换能力,在多个AZ之间复制数据、负载均衡和跨AZ故障切换,从而使应用系统具备应对可用区故障的能力。 RES03-01 集群跨AZ部署 RES03-02
价格比广州上海等区域低10%左右。企业可将灾备、离线分析、转码、运维等对网络要求低的系统部署在贵阳、乌兰察布,降低资源成本。 可以关注华为云新推出的云区域以及相关的服务,考虑多Region部署方案。 相关服务和工具 布局优化可以参考华为云不同Region的算力价格,尤其乌兰察布和贵阳等Region
在的安全威胁和攻击。安全漏洞可能使他人非法获得系统访问特权,应通过可信渠道获取最新的安全情报。 风险等级 高 关键策略 安全漏洞可通过及时安装安全补丁的方式修复漏洞,以防恶意个人或软件非法利用从而破坏业务系统和数据。通过及时了解最新的华为云和业界的安全公告,实施对应消减建议,来保证工作负载的安全。
COST08-03 存算分离 风险等级 中 关键策略 传统大数据方案计算和存储融合部署,扩容磁盘时必须扩容计算节点,在实际使用时产生浪费。存算分离是一种数据处理技术,它将数据存储和数据处理(计算)分开,使得存储和计算可以独立地进行优化和扩展,这种技术提高数据处理的效率、降低成本并满足大规模数据存储和分析的需求。
更新Grid路由层路由,使分区键重定向到新位置。 从分区键旧位置删除数据。 Grid代码部署与更新: Grid代码部署可与跨AZ、跨Region结合,通过多层隔离,减少故障影响范围。 Grid业务单元代码更新时,建议采用类似金丝雀部署(灰度发布)的方式进行更新,以减少由于版本问题而导致多个Grid业务单元同时故障的可能
关联源代码版本和部署的应用版本,使用代码质量最佳实践 OPS03 你是否有完备的测试验证体系? 1. 推行开发者测试 2. 使用多个环境进行集成测试,构建和生产环境相同的预生产环境 3. 性能压测 4. 生产环境拔测 5. 混沌测试和演练 OPS04 自动化构建和部署流程是否完备?
SEC06-01 安全合规使用开源软件 开源软件在现代软件开发中的重要性不言而喻。越来越多的企业选择使用开源软件来开发和部署软件应用程序。开源软件的使用必须严格遵守合法合规的底线,包括开源软件的来源、漏洞管理、可追溯、归一化及生命周期管理等方面。 风险等级 高 关键策略 来源可靠