检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云大数据组件 常用的华为云大数据服务组件如下，设计大数据部署架构时可参考： MapReduce服务（MapReduce Service，简称MRS） MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群，完全兼容开源接口，轻松运行Hadoop、
计算服务选型 华为云提供的计算服务主要是ECS（Elastic Cloud Server）服务和CCE（Cloud Container Engine）服务，华为云提供了很多ECS的实例类型，如下表所示，以满足多样化的计算场景需求。关于上述ECS实例类型的详细信息，请查看实例类型。
储和访问需求。 大数据计算： 大数据计算是对海量数据进行分布式、并行和实时处理的关键环节。主要的计算框架包括Hadoop、Spark、Flink等，它们支持分布式计算模型和任务调度。通过这些计算框架，可以进行数据处理、特征提取、机器学习、数据挖掘等复杂的计算和分析任务。 数据查询和分析：
大数据集群设计 设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据
作量。 弹性和可扩展性：在云上部署大数据任务调度平台时，应考虑平台的弹性和可扩展性。云环境提供了弹性计算和存储资源，可以根据工作负载的需求自动调整容量。确保任务调度平台能够快速处理增加的任务负载，并支持水平扩展以满足业务需求。 高可用性和容错性：确保在云上部署的任务调度平台具备高
AZ故障域说明 AZ (Availability Zone) 是公有云的一个独立的故障域，一个AZ是由物理上互相隔离的数据中心组成，每个AZ都具有独立的电力供应、网络连接和硬件设施，公有云厂商通常会将不同的AZ部署在不同的地理位置，以提高系统的可用性和故障容错能力，AZ故障域的优点包括：
模式向云运营模式转型。 云运营模式并不是企业云化转型的结果，并不是把业务系统都迁移到云上就自然拥有了一个能够有效支撑业务目标的云运营模式。制定一个良好的云运营模式是确保企业云化转型成功的前提。企业需要根据当前的IT运营模式和业务系统的特点设计最佳的云运营模式，以最大化云计算带来的
色发展。 降低能耗和碳排放：云数据中心通常采用先进的能源管理和冷却技术，PUE能降到1.2以下，相比自建数据中心，能耗和碳排放显著降低。 优化资源利用：云计算通过虚拟化和资源池化，提高了服务器和存储设备的利用率，减少了物理设备的需求。 支持绿色创新：云平台支持开发基于数字技术的绿
成本的巨大浪费。 云模式下企业按照实际业务负载弹性提供所需的云资源，企业只需为实际使用的资源按需付费，无需预先购买大量硬件和软件。在业务高峰期，云平台能够迅速扩展云资源满足需求，而在在业务低谷期，能够释放多余云资源，这将大幅减少资源浪费、降低成本。传统模式和云模式的成本模型对比如下图所示。
映射到不同规格的云资源，这样才能相对准确地估算两者的TCO。华为云提供了一个计算TCO的Excel模版，可以帮助您快速分析和对比传统模式和云模式的TCO，可以联系您的销售人员获取这个模版。另外，您计算人力成本时，需要考虑提升IT运维效率所节省的IT运维成本，计算方式可以参考下面的第7点：提升IT运维效率。
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。
盖华为云数据中心的物理环境和运行其上的基础服务、平台服务、应用服务等。这不但包括华为云基础设施和各项云服务的安全功能和性能，也包括对这些云基础设施和各项云服务进行安全运维和运营，以及保障华为云平台和云服务遵从相关的合规性要求。 华为云一方面确保各项云技术的安全开发、配置和部署；另
和弹性等。 调研大数据集群数量和功能划分：例如Hadoop集群、Spark集群、Hive集群等，并根据业务需求划分它们的功能，如存储集群、计算集群、查询集群等。 调研各个集群或组件负责的业务范围，以及它们处理的数据类型和数据流转的方式。 调研用于处理实时数据和离线数据的组件，例如实时数据可能使用Apache
技术支撑。 提升资源弹性 资源弹性是云计算的核心特性之一，是指云平台能够根据业务需求，按需对业务系统所需的计算、存储和网络等资源进行快速扩容和缩容。提升资源弹性可以有效提升业务敏捷性和业务连续性。 动态资源调配：云计算支持按需分配资源，企业可以在业务高峰期迅速扩展资源规模，以应对
应用的四层部署架构设计 接入层：为外部访问提供了访问入口，云上业务部署在VPC私有网络中，与外部网络是隔离的，当外部需要访问VPC业务时，通常可以通过如下两种方式： 专线：云专线是搭建用户本地数据中心/其他云厂商与云上虚拟私有云（Virtual Private Cloud，VPC）之
如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储、计算和管理组件）迁移到新的运行环境，包括集群的重新配置和数据迁移。集群迁移需要考虑数据的迁移方式、网络传输速度、兼容性和数据一致性等因素。
和运营云计算技术的流程和制度，目的是最大化云计算带来的业务价值。云运营模式要与组织内的业务运营模式对齐，明确CCoE和应用团队之间的协作关系和流程，通过有效的云运营模式，CCoE可以集中化运营整个云平台，提升管理效率和降低技术风险；应用团队也可以灵活地使用和管理所需要的云资源，加速应用创新的步伐。
信身份从互联网（不可信网络）访问云资源的请求会被拒绝，不可信身份通过本地数据中心网络（可信网络）访问云资源的请求也会被拒绝，可信身份访问其他企业的对象存储桶（不可信资源）的请求还会被拒绝，只有可信身份通过本地数据中心网络（可信网络）访问本企业的云资源的请求是允许的。 图1 全方位数据边界
网（不可信网络）访问云资源的请求会被拒绝，不可信身份通过本地数据中心网络（可信网络）访问云资源的请求也会被拒绝，可信身份访问其他企业的对象存储桶（不可信资源）的请求还会被拒绝，只有可信身份通过本地数据中心网络（可信网络）访问本企业的云资源的请求是允许的。 图1 全方位数据边界 通
导出源端HIVE元数据，导入华为云MRS-Hive 外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储（存算分离场景） Hbase历史数据 使用华为云CDM工具迁移所有历史数据到华为云MRS服务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
