检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进行大数据迁移操作，确保数据的准确性和可靠性，从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验：全量对比所有数据，适用于需要对比历史数据的场景。 日级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。支持单日或连续多日增量数据的统计，是最常用的校验方式。
进行大数据迁移操作，确保数据的准确性和可靠性，从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验：全量对比所有数据，适用于需要对比历史数据的场景。 日级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。支持单日或连续多日增量数据的统计，是最常用的校验方式。
在增量数据校验中，如果通过Metastore查询，当分区数量超过30,000时，可能会因为将所有分区信息加载到内存中而导致内存溢出（OOM）。因此，使用MySQL作为元数据仓可以有效地解决这一问题。 不启用：系统通过MetaStore查询Hive表的分区信息。 启用：配置MySQL
填写连接源端ClickHouse集群的外网地址。可以在集群信息页面，查看外网地址。 参数配置完成后，单击“测试连接”，系统会校验配置信息并与云服务建立连接，测试通过代表与云服务连接成功。 测试连接通过后，单击“确认”按钮，创建云服务连接完成。 在连接管理页面，可以查看创建的连接列表以及基本信息。单击操作列的“修改连接”，可以修改连接参数配置。
创建目的端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括： 数据湖探索（DLI） CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
在增量数据校验中，如果通过Metastore查询，当分区数量超过30,000时，可能会因为将所有分区信息加载到内存中而导致内存溢出（OOM）。因此，使用MySQL作为元数据仓可以有效地解决这一问题。 不启用：系统通过MetaStore查询Hive表的分区信息。 启用：配置MySQL
创建目的端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括： 数据湖探索（DLI） CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录
填写连接源端ClickHouse集群的外网地址。可以在集群信息页面，查看外网地址。 参数配置完成后，单击“测试连接”，系统会校验配置信息并与云服务建立连接，测试通过代表与云服务连接成功。 测试连接通过后，单击“确认”按钮，创建云服务连接完成。 在连接管理页面，可以查看创建的连接列表以及基本信息。单击操作列的“修改连接”，可以修改连接参数配置。
AK/SK验证失败，如何处理？ 问题描述 安装MgC Agent（原Edge）并注册成功后，连接迁移中心时，输入AK/SK查询项目，提示AK/SK错误。 问题分析 出现该问题可能的原因有： AK，SK输入错误。 AK，SK被删除或停用。 AK，SK所属账号没有开通编程访问方式。 安装MgC
迁移任务执行失败如何处理？ 如果迁移工作流完成后显示工作流状态为失败，请通过以下方式尝试解决。 方式一：通过LTS查询失败原因 如果在创建集群时启用了LTS日志，可以通过下列步骤查询任务失败原因，获得迁移失败的ERROR日志，可以自行分析失败原因或者提交给华为云技术支持人员分析原因并给出修复建议。
对象迁移的速度。 建议：优化集群的CPU资源分配，或者增加更多的迁移节点来分散负载。 源端和目的端的QPS限制：源端和目的端的QPS（每秒查询率）限制，可能会成为制约迁移速度的因素。 建议：根据迁移需求调整源端和目的端的QPS限制。 迁移集群的网络带宽使用情况：对于小对象迁移，网
Kafka个数 用于规格评估 bigdataNum 大数据集群个数 用于规格评估 pubDomainNum 公网域名数量 用于规格评估 vpcDomainNum VPC域名数量 用于规格评估 routeTableNum 路由表个数 用于规格评估 vpnNum VPN网关个数 用于规格评估
vpc:vpcs:list（查询虚拟私有云列表） vpc:subnets:get（查询子网列表或详情） vpc:publicIps:list（查询弹性公网IP） vpc:securityGroups:get（查询安全组列表或详情） eps:enterpriseProjects:list（查看企业项目列表）
vpc:vpcs:list（查询虚拟私有云列表） vpc:subnets:get（查询子网列表或详情） vpc:publicIps:list（查询弹性公网IP） vpc:securityGroups:get（查询安全组列表或详情） eps:enterpriseProjects:list（查看企业项目列表）
iam:projects:listProjects（查询租户项目） eps:enterpriseProjects:list（查看企业项目列表） vpc:subnets:get（查询子网列表或详情） vpc:securityGroups:get（查询安全组列表或详情） vpc:vpcs:get（查询虚拟私有云详情） 迁移方案配置
iam:projects:listProjects（查询租户项目） eps:enterpriseProjects:list（查看企业项目列表） vpc:subnets:get（查询子网列表或详情） vpc:securityGroups:get（查询安全组列表或详情） vpc:vpcs:get（查询虚拟私有云详情） 迁移方案配置
0101 配置参数 *** 为空 查看评估推荐的服务器参数(镜像，磁盘)是否有遗漏，或联系MgC 技术支持人员，查看工作流数据库参数***是否为空。 SMS-Workflow.0102 配置参数 *** 有特殊字符 请联系MgC 技术支持人员，查看工作流数据库参数***是否有特殊字符。
该参数设置为true： 当子查询中数据不重复的情况下，执行关联子查询，不需要对子查询的结果去重。 当子查询中数据重复的情况下，执行关联子查询，会提示异常，必须对子查询的结果做去重处理，比如max(),min()。 该参数设置为false： 不管子查询中数据重复与否，执行关联子查询时，都需要对子查询的结果去重，比如max()
该参数设置为true： 当子查询中数据不重复的情况下，执行关联子查询，不需要对子查询的结果去重。 当子查询中数据重复的情况下，执行关联子查询，会提示异常，必须对子查询的结果做去重处理，比如max(),min()。 该参数设置为false： 不管子查询中数据重复与否，执行关联子查询时，都需要对子查询的结果去重，比如max()
查看元数据 您可以通过创建采集任务、手动添加、导入模板等方式获取元数据库表清单。 通过采集任务获取元数据 创建采集任务的方法请参考创建并运行元数据同步任务。当元数据同步任务的实例状态为“已完成”且采集结果有数值时，在库表清单页签可以查看采集到的元数据列表。 手动添加数据表 登录迁
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
