检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移阶段和步骤,以及每个阶段和步骤的详细描述。其中,步骤类型为“自动”,表示该步由系统自动完成。单击“开始配置”按钮,进行工作流配置。 在基础信息区域,输入自定义的工作流名称和描述。 在迁移方案区域,选择创建的对象存储迁移方案。选择方案后,可以看到该方案的配置概览。单击“查看详情”,可以查看该方案的更多信息。
匹配源端规格 根据源端规格推荐最合适的华为云对应资源规格。 详细的推荐逻辑说明参见主机评估策略推荐逻辑说明。 匹配业务场景 以源端业务场景为基础,结合华为云最佳实践进行资源规格推荐。 详细的推荐逻辑说明参见主机评估策略推荐逻辑说明。 优先级设置 性能优先 推荐的目的端规格要求性能最佳。
选择“在线调研”页签,单击“云平台采集”,进入云平台采集参数配置页面。 图1 云平台采集 根据表1,配置采集任务参数。 表1 云平台采集参数说明 区域 参数 说明 是否必选 基础配置 任务名称 自定义发现任务名称。 是 任务说明 输入发现任务说明。 否 任务配置 源端 选择源端云平台,目前支持的云平台有阿里云、华为
步骤一:配置华为云VPN 参考站点入云VPN企业版的华为云控制台操作步骤,分别配置VPN网关、对端网关以及VPN连接。 登录华为云管理控制台,选择“网络 > 虚拟专用网络 VPN”。 配置VPN网关。 在左侧导航树选择“虚拟专用网络 > 企业版-VPN网关”。 单击“创建站点入云VPN网关”,根据界面提示配置参数。
单击页面右上角的“创建迁移工作流”按钮,进入选择模板页面。 选择存储迁移标准模板,单击“开始配置”按钮,进行工作流配置。 根据表1,配置基础信息参数。 表1 基础信息参数配置说明 参数 说明 名称 用户自定义。 区域 在下拉菜单中选择创建的目的端桶所在区域。 描述 用户自定义。 集群 选择
段和步骤,以及每个阶段和步骤的详细描述。其中,步骤类型为“自动”,表示该步由系统自动完成。 如图3所示,根据表1,配置基础信息参数。 图3 基础信息 表1 基础信息参数说明 参数 说明 名称 用户自定义。 区域 下拉菜单中选择目的端所在区域。需要与集群所在区域一致。 描述 用户自定义。
最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前,请联系技术支持人员,将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。
参数值:spark.sql.catalogImplementation=hive 如果源端是阿里云 EMR Delta 2.2版本并且是通过Delta 2.3版本依赖访问时,请添加如下参数: 参数名:master 参数值:local 在元数据采集区域,单击“采集任务”,进入元数据采集页面。
最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前,请联系技术支持人员,将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。
托授权。委托权限所包含的细粒度权限请前往委托权限说明查看。 根据表1,配置参数。 表1 集群参数配置说明 区域 参数 配置说明 限制说明 基础配置 集群名称 自定义名称。 同一账户下集群名称不可重名。 区域 选择创建集群的区域。 与目的端区域保持一致。 集群类型 选择集群使用场景。
如果账号已经能满足您的要求,不需要创建独立的IAM用户进行权限管理,您可以跳过本章节,不影响您使用MgC服务的其它功能。 IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。关于IAM的详细介绍,请参见《IAM产品介绍》。 MgC权限 默认情况下,新建的
采集AWS容器资源 本节介绍使用MgC采集AWS 容器资源的基本原理、准备工作、账号权限要求以及具体的操作步骤,旨在帮助用户高效、准确地完成AWS 容器资源的数据采集工作。 公网发现原理 使用MgC通过公网发现AWS容器资源的原理图,如图1所示。 图1 采集AWS容器资源原理图 调用SDK:通过调用Amazon
考添加资源凭证中的大数据-Hive Metastore。 Hive版本 选择源端Hive的实际版本。 注意: 如果源端Hive为2.1.1版本,此处需要选择1.x版本。 MetaStore节点IP 填写连接MetaStore的IP地址。 MetaStore Thrift服务端口
考添加资源凭证中的大数据-Hive Metastore。 Hive版本 选择源端Hive的实际版本。 注意: 如果源端Hive为2.1.1版本,此处需要选择1.x版本。 MetaStore节点IP 填写连接MetaStore的IP地址。 MetaStore Thrift服务端口
托授权。委托权限所包含的细粒度权限请前往委托权限说明查看。 根据表1,配置参数。 表1 集群参数配置说明 区域 参数 配置说明 限制说明 基础配置 集群名称 自定义名称。 同一账户下集群名称不可重名。 区域 选择创建集群的区域。 与目的端区域保持一致。 集群类型 选择集群使用场景。
单击页面右上角的“创建迁移工作流”按钮,进入选择模板页面。 选择存储迁移标准模板,单击“开始配置”按钮,进行工作流配置。 根据表1,配置基础信息参数。 表1 基础信息参数配置说明 参数 说明 名称 用户自定义。 区域 在下拉菜单中选择创建的目的端桶所在区域。 描述 用户自定义。 集群 选择
阶段和步骤的详细描述。其中,步骤类型为“自动”,表示该步由系统自动完成。单击“开始配置”按钮,进行工作流配置。 根据表1,配置基础信息参数。 表1 基础信息参数说明 参数 说明 名称 用户自定义。 区域 下拉菜单中选择目的端所在区域。 描述 用户自定义。 集群 选择用于迁移的集群
考添加资源凭证中的大数据-Hive Metastore。 Hive版本 选择源端Hive的实际版本。 注意: 如果源端Hive为2.1.1版本,此处需要选择1.x版本。 MetaStore节点IP 填写连接MetaStore的IP地址。 MetaStore Thrift服务端口
考添加资源凭证中的大数据-Hive Metastore。 Hive版本 选择源端Hive的实际版本。 注意: 如果源端Hive为2.1.1版本,此处需要选择1.x版本。 MetaStore节点IP 填写连接MetaStore的IP地址。 MetaStore Thrift服务端口
阶段和步骤的详细描述。其中,步骤类型为“自动”,表示该步由系统自动完成。单击“开始配置”按钮,进行工作流配置。 根据表1,配置基础信息参数。 表1 基础信息参数说明 参数 说明 名称 用户自定义。 区域 下拉菜单中选择目的端所在区域。 描述 用户自定义。 集群 选择用于迁移的集群