检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka个数 用于规格评估 bigdataNum 大数据集群个数 用于规格评估 pubDomainNum 公网域名数量 用于规格评估 vpcDomainNum VPC域名数量 用于规格评估 routeTableNum 路由表个数 用于规格评估 vpnNum VPN网关个数 用于规格评估
在增量数据校验中，如果通过Metastore查询，当分区数量超过30,000时，可能会因为将所有分区信息加载到内存中而导致内存溢出（OOM）。因此，使用MySQL作为元数据仓可以有效地解决这一问题。 不启用：系统通过MetaStore查询Hive表的分区信息。 启用：配置MySQL
在增量数据校验中，如果通过Metastore查询，当分区数量超过30,000时，可能会因为将所有分区信息加载到内存中而导致内存溢出（OOM）。因此，使用MySQL作为元数据仓可以有效地解决这一问题。 不启用：系统通过MetaStore查询Hive表的分区信息。 启用：配置MySQL
首次使用大数据数据迁移功能时，需要先启用MgC Agent。单击页面左上角的“修改”或单击“选择迁移中心Agent”按钮，弹出选择迁移工具窗口。在下拉列表中，选择在完成准备工作时与迁移中心连接成功的MgC Agent。 在进行大数据数据迁移时，请确保MgC Agent一直处于在线并启用状态。
迁移对源端和目的端有什么要求？ 迁移会占用源端和目的端大量的QPS（每秒查询率）和带宽。因此，建议在迁移前先进行测试，以评估实际迁移过程中源端和目的端的QPS和带宽占用情况。如果占用率过高，请调整源端和目的端QPS和带宽限制，以确保对现有业务的影响最小化。 父主题： 存储迁移
在增量数据校验中，如果通过Metastore查询，当分区数量超过30,000时，可能会因为将所有分区信息加载到内存中而导致内存溢出（OOM）。因此，使用MySQL作为元数据仓可以有效地解决这一问题。 不启用：系统通过MetaStore查询Hive表的分区信息。 启用：配置MySQL
填写连接源端ClickHouse集群的外网地址。可以在集群信息页面，查看外网地址。 参数配置完成后，单击“测试连接”，系统会校验配置信息并与云服务建立连接，测试通过代表与云服务连接成功。 测试连接通过后，单击“确认”按钮，创建云服务连接完成。 在连接管理页面，可以查看创建的连接列表以及基本信息。单击操作列的“修改连接”，可以修改连接参数配置。
填写连接源端ClickHouse集群的外网地址。可以在集群信息页面，查看外网地址。 参数配置完成后，单击“测试连接”，系统会校验配置信息并与云服务建立连接，测试通过代表与云服务连接成功。 测试连接通过后，单击“确认”按钮，创建云服务连接完成。 在连接管理页面，可以查看创建的连接列表以及基本信息。单击操作列的“修改连接”，可以修改连接参数配置。
创建目的端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括： 数据湖探索（DLI） CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
在增量数据校验中，如果通过Metastore查询，当分区数量超过30,000时，可能会因为将所有分区信息加载到内存中而导致内存溢出（OOM）。因此，使用MySQL作为元数据仓可以有效地解决这一问题。 不启用：系统通过MetaStore查询Hive表的分区信息。 启用：配置MySQL
创建目的端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括： 数据湖探索（DLI） CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录
条件。 分区上限：用于限制查询或处理的分区数量，避免不必要的全表扫描或处理大量不需要的数据。默认为3，取值范围：1~50。 例如，设置分区上限为3，系统只处理降序排序后分区列表中的前3个分区。 单SQL字段上限：每条SQL查询的表的字段上限。单SQL查询的字段数越多，执行时间越长
每执行一次任务，会生成一条任务实例。 单击操作列的“查看实例”，进入任务实例管理页签。可以查看该任务的运行记录，以及每条任务实例的状态和采集结果。当元数据同步任务的实例状态为“已完成”且采集结果有数值时，在库表清单页签可以查看采集到的元数据列表。 元数据采集完成后，在元数据列表单
务管理页签，可以查看已创建的数据湖元数据同步任务列表以及参数配置信息。单击操作列的“更多>修改”，可以修改任务参数配置。 单击操作列的“运行任务”，即可触发一次任务执行。每执行一次任务，会生成一条任务实例。 单击操作列的“查看实例”，进入任务实例管理页签。可以查看该任务的运行记录
迁移任务执行失败如何处理？ 如果迁移工作流完成后显示工作流状态为失败，请通过以下方式尝试解决。 方式一：通过LTS查询失败原因 如果在创建集群时启用了LTS日志，可以通过下列步骤查询任务失败原因，获得迁移失败的ERROR日志，可以自行分析失败原因或者提交给华为云技术支持人员分析原因并给出修复建议。
对象迁移的速度。 建议：优化集群的CPU资源分配，或者增加更多的迁移节点来分散负载。 源端和目的端的QPS限制：源端和目的端的QPS（每秒查询率）限制，可能会成为制约迁移速度的因素。 建议：根据迁移需求调整源端和目的端的QPS限制。 迁移集群的网络带宽使用情况：对于小对象迁移，网
0101 配置参数 *** 为空 查看评估推荐的服务器参数(镜像，磁盘)是否有遗漏，或联系MgC 技术支持人员，查看工作流数据库参数***是否为空。 SMS-Workflow.0102 配置参数 *** 有特殊字符 请联系MgC 技术支持人员，查看工作流数据库参数***是否有特殊字符。
而实现更好的组织管理和资源分配。 下载并安装MgC Agent（原Edge） MgC Agent是用于配合迁移中心进行源端资源发现与采集的工具，同时MgC Agent还提供了工作流模块，用于配合云端迁移工作流任务。 采集主机资源 通过公网采集/内网采集/手动添加等方式，获取源端主机资源。
vpc:vpcs:list（查询虚拟私有云列表） vpc:subnets:get（查询子网列表或详情） vpc:publicIps:list（查询弹性公网IP） vpc:securityGroups:get（查询安全组列表或详情） eps:enterpriseProjects:list（查看企业项目列表）
vpc:vpcs:list（查询虚拟私有云列表） vpc:subnets:get（查询子网列表或详情） vpc:publicIps:list（查询弹性公网IP） vpc:securityGroups:get（查询安全组列表或详情） eps:enterpriseProjects:list（查看企业项目列表）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
