检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当默认域名不能满足您的迁移需求,比如您需要一个自定义域名以便使用CDN降低源端出口下载流量的费用,可以勾选此选项。在域名输入框中输入自定义域名,并选择传输协议。HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。 源端为阿里云OSS、腾讯云COS时,如果使用了CDN鉴权,还需要选择“鉴权类型”并输入“鉴权密钥”。
当默认域名不能满足您的迁移需求,比如您需要一个自定义域名以便使用CDN降低源端出口下载流量的费用,可以勾选此选项。在域名输入框中输入自定义域名,并选择传输协议。HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。 源端为阿里云OSS、腾讯云COS时,如果使用了CDN鉴权,还需要选择“鉴权类型”并输入“鉴权密钥”。
(可选)清理集群 当您完成数据迁移并且集群不再需要时,可以直接删除闲置的集群以释放资源。 在左侧导航栏选择“资源准备>迁移集群”,进入迁移集群页面。 在集群列表,选择需要清理的集群,单击操作列的“更多 > 删除”,弹出删除集群窗口。 选择是否同步删除关联资源后,单击“确认”,删除集群。
选择在完成准备工作时所创建的迁移项目。 单击页面右上角的“连接管理”按钮,进入连接管理页面。 首次使用大数据数据迁移功能时,需要先启用迁移工具Edge。单击页面左上角的“修改”或单击“选择迁移工具”按钮,弹出选择迁移工具窗口。在下拉列表中,选择在完成准备工作时与迁移中心连接成功的Edge。
单击存储迁移成本调研框,进入存储迁移成本调研参数配置页面。 在源端详情区域,根据实际情况,选择源端平台和源端类型,并输入源端文件个数、总文件大小。 在目的端详情区域,选择目的端区域和目的端类型。 在高级特性选择网络模式、偏好设置,并输入期望迁移时间。 配置完以上参数后,单击“创建评估”按钮。系统会根据配置参数,并给出不同的迁移方案。
单击存储迁移成本调研框,进入存储迁移成本调研参数配置页面。 在源端详情区域,根据实际情况,选择源端平台和源端类型,并输入源端文件个数、总文件大小。 在目的端详情区域,选择目的端区域和目的端类型。 在高级特性选择网络模式、偏好设置,并输入期望迁移时间。 配置完以上参数后,单击“创建评估”按钮。系统会根据配置参数,并给出不同的迁移方案。
从而实现更好的组织管理和资源分配。包含的项目类型和对应的使用场景说明如下: 应用迁移项目:适用于需要进行主机、存储等资源的采集、迁移场景。 复杂迁移(大数据迁移)项目:适用于需要进行大数据迁移和大数据一致性校验等复杂数据处理场景。 创建项目 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。 单击页面右上角的“连接管理”按钮,进入连接管理页面。 首次使用大数据数据迁移功能时,需要先启用MgC Agent。单击页面左上角的“修改”
在该区域下的项目。 区域 输入需要校验的数据(即目的端数据)所在区域的代码。例如:ap-southeast-1。可以参考终端节点获取不同区域的区域代码信息。 项目 输入需要校验的数据所在的项目ID。获取方法请参考获取项目的名称和ID。 队列名称 输入需要进行校验的DLI队列名称。队列类型必须是SQL队列。
中心凭证相同”,则需要手动填写区域代号。例如:cn-south-1 项目 选择DLI在目的端区域用于接收数据的项目。如果未勾选“所选凭证与登录迁移中心凭证相同”,则需要手动填写项目ID。项目ID的获取方法请参考获取项目的名称和ID。 队列名称 输入完成准备工作时,创建的SQL队列名称/通用队列名称。
ive表的分区信息。启用后,需要配置如下参数: 元仓类型:目前仅支持MySQL作为元数据仓。 MySQL凭证:选择访问MySQL数据库的认证信息。认证信息需要添加到MgC Agent然后同步到MgC,方法请参考添加资源凭证。 MySQL节点IP:输入MySQL数据库服务器的IP地址。
“所选凭证与登录迁移中心凭证相同”,则需要手动填写项目ID。项目ID的获取方法请参考获取项目的名称和ID。 队列名称 输入完成准备工作时,创建的SQL队列名称/通用队列名称。 当配置SQL队列连接时,填写SQL队列名称。 当配置通用队列连接时,填写通用队列名称。 创建目的端连接完
查询Hive表的分区信息。启用后,需要配置如下参数: 元仓类型:目前仅支持MySQL作为元数据仓。 MySQL凭证:选择访问MySQL数据库的认证信息。认证信息需要添加到Edge然后同步到MgC,方法请参考添加资源凭证。 MySQL节点IP:输入MySQL数据库服务器的IP地址。
在创建Hive Metastore连接前,需要先获取连接Hive Metastore的IP地址和端口号。 在创建MaxCompute连接前,需要先获取MaxCompute服务所在地域的Endpoint信息。 在创建Doris连接前,需要先获取Doris集群部署的服务器IP地址和端口。
集群详细信息页面。 在节点信息区域,单击“新增节点>迁移节点”,弹出添加节点页面。 根据实际需求,选择节点的ECS规格,并输入需要增加的节点数量,节点数量需要同时满足如下要求: 迁移节点数+列举节点数+1 ≤100 迁移节点数+列举节点数+1 ≤子网可用IP数 单击“确认”,节点
在创建Hive Metastore连接前,需要先获取连接Hive Metastore的IP地址和端口号。 在创建MaxCompute连接前,需要先获取MaxCompute服务所在地域的Endpoint信息。 在创建Doris连接前,需要先获取Doris集群部署的服务器IP地址和端口。
当默认域名不能满足您的迁移需求,比如您需要一个自定义域名以便使用CDN降低源端出口下载流量的费用,可以勾选此选项。在域名输入框中输入自定义域名,并选择传输协议。HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。 源端为阿里云OSS、腾讯云COS时,如果使用了CDN鉴权,还需要选择“鉴权类型”并输入“鉴权密钥”。
从而实现更好的组织管理和资源分配。包含的项目类型和对应的使用场景说明如下: 应用迁移项目:适用于需要进行主机、存储等资源的采集、迁移场景。 复杂迁移(大数据迁移)项目:适用于需要进行大数据迁移和大数据一致性校验等复杂数据处理场景。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。
集群详细信息页面。 在节点信息区域,单击“新增节点>迁移节点”,弹出添加节点页面。 根据实际需求,选择节点的ECS规格,并输入需要增加的节点数量,节点数量需要同时满足如下要求: 迁移节点数+列举节点数+1 ≤100 迁移节点数+列举节点数+1 ≤子网可用IP数 单击“确认”,节点
将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理? 当从HTTP/HTTPS数据源迁移数据到对象存储服务(OBS)时,由于OBS不区分URL差异,只识别对象名称,因此同名对象会根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行