检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源接口,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,并具备在后续根据业务需要进行定制开发的能力,帮助企业快速构建海量数据信息处理系统。详细信息请参考官网文档。 数据湖探索(Data Lake Insight,简称DLI) 完全兼容Apache
此时我们可以对大数据按业务域进行拆分,将有关联的数据、任务、应用划分到一个批次进行迁移。分批次迁移可以有效的减少大数据迁移的风险,降低迁移方案复杂度,提高迁移效率。 大数据迁移通常按照主题域进行分批。主题域通常是按照业务功能划分,将有相似业务逻辑的关联数据集合到一起,比如销售主题
可用性设计 可用性定义 AZ故障域说明 云上高可用方案 双AZ高可用设计 两地三中心高可用设计 跨AZ高可用设计示例 父主题: 应用架构设计
云平台上没有对应的大数据集群组件,部署架构设计时,可以考虑继续采用自建的方案。如果目标云平台上有对应的大数据集群组件,但兼容性较差,经评估可能需要较大的改造工作量,部署架构设计时,可以考虑继续采用自建的方案。 最小改造原则:如无特别的业务驱动,要尽量避免进行大规模改造。大数据集群
障,例如自然灾害或电力中断对整个系统的影响。 企业可以基于AZ故障域进行应用的高可用性署设计,设计时可以考虑如下方面: 跨AZ部署:将应用程序的不同组件部署在多个AZ中,以确保即使一个AZ不可用,其他AZ中部署的组件仍能正常运行,企业可以使用云服务提供商的工具或容器编排工具来简化多AZ部署的管理。
有状态应用等场景下,随着业务不断发展和变化,需要快速升级硬件以应对业务变化。如在进行一些促销活动时,对资源的需求往往比正常要高出多倍,这时企业在云上就可以通过可视化界面或者 OpenAPI 快速升级资源的配置,将资源调整到更高规格的实例上(如更多的 CPU、内存、带宽、磁盘空间等
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
严格的企业。 模式2是按照子公司规划业务账号,相当于将业务单元定义到子公司,也就是只需要在子公司层面进行严格的隔离。不同子公司的业务系统集中部署在子公司对应的子账号里面。在账号内部可以基于VPC为各个业务系统规划生产环境和非生产环境。这种模式适合很多民营企业集团,这些企业集团往往
上没有对应的大数据任务调度组件,部署架构设计时,可以考虑继续采用自建的方案。如果目标云平台上有对应的大数据任务调度组件,但兼容性较差,经评估可能需要较大的改造工作量,部署架构设计时,可以考虑继续采用自建的方案。 最小改造原则:如无特别的业务驱动,要尽量避免进行大规模改造。大数据任
应用部署参考架构 应用部署架构示例 参考架构库 父主题: 应用架构设计
可扩展设计 可扩展能力可分层来设计,下图展示了华为云各层级的产品扩展能力全貌。 图1 可扩展性设计示例 应用上云目标架构的各层可扩展方案设计要点如下: 应用层可扩展设计要点 若应用层实现了微服务架构,通过华为云CCE云容器引擎服务实现业务容器化部署,可通过CCE工作负载弹性伸缩能
和网络延迟信息,不同AZ间可能在物理位置上相隔较远,导致网络延迟增加,实施跨AZ高可用方案要优先选择距离较近的AZ,可以降低网络延迟并提高应用的响应速度。 延迟验证 在正式实施双AZ高可用方案前,需要充分的测试和验证来评估应用程序在不同AZ之间的延迟情况。通过模拟真实负载的压力测
可扩展性设计 云上可扩展性 可扩展设计 父主题: 应用架构设计
D表、E表、F表… … 自定义标准 … 设计任务迁移方案 大数据的任务包括三类:Jar类任务、SQL类任务、脚本类任务(Python、Shell),可以根据不同的任务类型选择合适的迁移方案。 表4 任务类型和迁移方案 任务类型 迁移方案 JAR类任务 所有Jar类任务都需要根据云上集群版本重新编译jar包,适配云上环境
云卓越中心简介 企业云化转型是一项复杂和系统的工程,需要组建一个云卓越中心(CCoE)来领导、协调和推进整个云化转型项目。CCoE是企业内部为云化转型专门成立的中心化团队,全程负责整个云化旅程,包括制定战略、顶层规划、调研评估、方案设计、采用实施和运维治理,其目标是通过提供最佳实
可用性定义 可用性(Availability)是产品/服务在规定的条件下和规定的时刻或时间区间内处于可执行规定功能状态的能力,是产品可靠性和可维护性的综合反映。服务可用性一般会用SLA(Service-Level Agreement)来衡量,各类云服务都有承诺的SLA标准。不同SLA级别对应的停机时间如下表所示:
应用部署架构示例 下图是音频类应用的云上部署设计参考架构: 图1 应用部署架构设计示例 设计要点: 用户接入采用多线路动态BGP,实现公网访问线路的自动容错,可靠性高; 华为云ELB采用集群跨可用区高可靠部署,单数据中心机房故障对业务无影响; 应用接入层采用跨可用区集群部署,单可用区的故障不会影响到全局业务;
用的中台成本。 华为云提供多种成本分配能力支撑企业分配成本: 直接成本分配:企业可以通过按照资源产生成本时归属的关联账号、企业项目或成本标签进行成本分配。 权益商品成本分摊:包年包月、资源包等权益商品成本,按照实际使用情况摊销到企业项目、标签和资源。 流量型资源的公共成本按用量拆
两地三中心高可用设计 对于业务连续性要求较高的业务,可以考虑两地三中心的高可用性方案,如下图所示。 提供最高程度的业务连续性和数据可用性,在超大规模地域级自然灾害的时候都能保护数据和业务。 RPO 时间取决于数据库复制间隔; 由于容灾站点一直运行,RTO 依赖容灾切换时间,通常取决于
线。另一方面,企业高层可以通过组织宣贯向公司内部传达一个关键信息:企业上云是公司未来的战略,每个组织、个人都应积极转换思想、意识,来积极主动拥抱云、拥抱企业数字化未来。 风险应急准备是每个业务系统上线前必要的环节,需要提前识别上线可能遇到的风险和问题并制定解决方案。风险识别不限于