检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云MRS Hive后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC
VTools资源任务失败。 处理完失败原因后,需要删除该采集任务,重新导入文件进行采集。 当任务状态为“成功”时,您可以查看导入的资源详情和资源统计信息。 查看主机资源详情 当RVTools导入任务状态为“成功”时,在资源列表页面,可以查看VMware采集的主机信息,包括:主机名
VTools资源任务失败。 处理完失败原因后,需要删除该采集任务,重新导入文件进行采集。 当任务状态为“成功”时,您可以查看导入的资源详情和资源统计信息。 查看主机资源详情 当RVTools导入任务状态为“成功”时,在资源列表页面,可以查看VMware采集的主机信息,包括:主机名
Metastore连接前,需要先获取连接Hive Metastore的IP地址和端口号。 在创建MaxCompute连接前,需要先获取MaxCompute服务所在地域的Endpoint信息。 在创建Doris连接前,需要先获取Doris集群部署的服务器IP地址和端口。 在创建HBase连接前,需要先获取HBa
且不支持恢复)。 迁移集群所包含的资源类型以及所有节点的安全组配置详细信息请查看资源类型和安全组配置说明。 费用说明 在创建迁移集群时,会产生以下费用: 创建Master节点、迁移节点和列举节点会产生ECS服务费用。具体计费详情请参见ECS按需计费说明或ECS价格计算器。 如果
MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提供了一致性校验方法。通过一致性校验,您可以更加放心地进行大数据迁移操作,确保数据的准确性和可靠性,从而避免了数据丢失或不一致的风险。 注意事项 创建的源端统计任务和目的端统计任务的统计方式必须保持一致。 数据量较大时,对数成功率99
直接覆盖 对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。 对象大小与最后修改时间覆盖 对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较文件大小,大小不同则源端覆盖目的端文件;如果最后修改时间和大小都相同,则跳过;
在创建元数据连接时,如果要使用“采集资源使用信息”功能和查看资源概览,需要为IAM账号的AK/SK添加MRS服务和DLI服务的只读权限(ReadOnly)。 阿里云访问密钥(AK/SK)准备 准备一组源端阿里云账号的Access Key(AK)和Secret Key(SK),获取方法请参考
务器详情) ecs:flavors:get(查询云服务器规格) ecs:cloudServerFlavors:get(查询云服务器规格详情和扩展信息列表) ecs:cloudServerQuotas:get(查询租户配额) ecs:servers:list(查询云服务器列表) e
务器详情) ecs:flavors:get(查询云服务器规格) ecs:cloudServerFlavors:get(查询云服务器规格详情和扩展信息列表) ecs:cloudServerQuotas:get(查询租户配额) ecs:servers:list(查询云服务器列表) e
这些信息将用于MgC上的报告生成,以便于进行性能优化。 须知: 使用该功能,需要MgC Agent添加的华为云账号AK/SK拥有MRS服务和DLI服务的只读权限(ReadOnly)。 如果所选凭证与登录迁移中心 MgC的账号凭证相同,请勾选“所选凭证与登录迁移中心凭证相同”,系统
com EndpointIP和TunnelEndpointIP的获取方法:使用任一有公网IP的主机,分别对源端MaxCompute所在地域的Endpoint和Tunnel Endpoint执行ping指令,在回显中即可获取对应IP地址。 Endpoint和Tunnel Endpoi
进行后续“源端专项清理”和“迁移任务清理”操作。 添加阶段 在迁移工作流详情页面,将鼠标移动到迁移阶段名称上,在弹出的窗口中,选择添加前置阶段/添加后置阶段,弹出添加阶段窗口。 为迁移阶段自定义名称和说明,单击“添加步骤”,选择步骤类型,为步骤自定义名称和说明,单击“确认”按钮。支持添加多个步骤。
配置完成后,单击“立即创建”。 配置VPN连接。创建两条VPN连接,分别连接华为云VPN网关和阿里云对端网关。 在左侧导航树选择“虚拟专用网络 > 企业版-VPN连接”。 单击“创建VPN连接”,选择已创建的VPN网关和对端网关,并填入对端网关的子网地址(确保子网地址不重合)。 策略配置选择“自
DiscoveryAccess 迁移中心资源发现操作权限,拥有操作资源发现功能的权限和只读权限。 系统策略 MgC DiscoveryAccess策略内容 MgC AssessAccess 迁移中心评估操作权限,拥有操作评估功能、资源发现功能的权限和只读权限。 系统策略 MgC AssessAccess策略内容
选择文件存储批量迁移模板,单击“查看步骤详情”,可以查看该模板所包含的迁移阶段和步骤,以及每个阶段和步骤的详细描述。其中,步骤类型为“自动”,表示该步由系统自动完成。单击“开始配置”按钮,进行工作流配置。 在基础信息区域,输入自定义的工作流名称和描述。 在迁移方案区域,选择创建的文件存储迁移方案。选择
选择文件存储批量迁移模板,单击“查看步骤详情”,可以查看该模板所包含的迁移阶段和步骤,以及每个阶段和步骤的详细描述。其中,步骤类型为“自动”,表示该步由系统自动完成。单击“开始配置”按钮,进行工作流配置。 在基础信息区域,输入自定义的工作流名称和描述。 在迁移方案区域,选择创建的文件存储迁移方案。选择
且不支持恢复)。 迁移集群所包含的资源类型以及所有节点的安全组配置详细信息请查看资源类型和安全组配置说明。 费用说明 在创建迁移集群时,会产生以下费用: 创建Master节点、迁移节点和列举节点会产生ECS服务费用。具体计费详情请参见ECS按需计费说明或ECS价格计算器。 如果
直接覆盖 对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。 对象大小与最后修改时间覆盖 对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较文件大小,大小不同则源端覆盖目的端文件;如果最后修改时间和大小都相同,则跳过;
直接覆盖 对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。 对象大小与最后修改时间覆盖 对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较文件大小,大小不同则源端覆盖目的端文件;如果最后修改时间和大小都相同,则跳过;