检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据数据迁移（MaxCompute迁移到DLI） 大数据迁移概述 使用须知 准备工作 创建源端连接 创建目的端连接 创建迁移任务 查看并导出执行结果 自定义参数说明 父主题： 新版
创建目的端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括： 数据湖探索（DLI） CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题： 新版
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题： 旧版
选择源端主机凭证，如未提前在Edge上添加源端主机凭证，请前往Edge控制台添加，并同步至迁移中心。 添加成功后，在资源列表页面的主机页签，可以查看添加的主机资源。 添加数据库 登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用管理”，进入应用管理页面。在页面左上角的当前项目下拉列表中选择迁移项目。
创建目的端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括： 数据湖探索（DLI） CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录
选择源端主机凭证，如未提前在MgC Agent上添加源端主机凭证，请前往MgC Agent控制台添加，并同步至迁移中心。 添加成功后，在主机资源列表，可以查看添加的主机资源。 添加数据库 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择迁移项目。 单击左侧导航栏的“源端发现>应用管理”，进入应用管理页面。
启用：记录存储迁移过程中的日志，便于查看和定位迁移中出现的问题。 不启用：不记录存储迁移过程中的日志。 - 参数配置完成后，单击“确认”开始创建集群。在迁移集群列表中查看集群状态，状态详情参见集群状态说明。如果集群状态为创建失败，将鼠标移动到“创建失败”上，可以查看失败原因。在解决失败原因后，可以通过操作列的“更多
启用：记录存储迁移过程中的日志，便于查看和定位迁移中出现的问题。 不启用：不记录存储迁移过程中的日志。 - 参数配置完成后，单击“确认”开始创建集群。在迁移集群列表中查看集群状态，状态详情参见集群状态说明。如果集群状态为创建失败，将鼠标移动到“创建失败”上，可以查看失败原因。在解决失败原因后，可以通过操作列的“更多
迁移时，单击操作列的“运行”，手动启动迁移。 迁移任务运行后，单击操作列的“查看实例”，进入任务进度页签，可以查看该任务产生的运行实例以及迁移进度。 单击进度统计列的“查看”，进入进度详情页面。可以查看元数据的增量感知结果并导出任务结果。 单击进度详情页面右上角的“打开DDL编辑
迁移时，单击操作列的“运行”，手动启动迁移。 迁移任务运行后，单击操作列的“查看实例”，进入任务进度页签，可以查看该任务产生的运行实例以及迁移进度。 单击进度统计列的“查看”，进入进度详情页面。可以查看元数据的增量感知结果并导出任务结果。 单击进度详情页面右上角的“打开DDL编辑
tomcat9.exe 的程序，查看其对应pid。 图7 任务管理器 若是由启动脚本启动的MgC Agent，则寻找 java.exe 的程序，查看其对应pid。若有多个 java.exe 的程序的情况，解决方法如下： 多个 java.exe 的程序，在查询了某个java程序JVM信息后，可通过命令提示符返回的内容中
所示。 图1 启动迁移Agent 图2 SMS迁移服务器列表 查看迁移实时状态 当主机工作流进行到“全量复制”和“增量同步”步骤时，如图3所示，单击资源的任务详情，可以直接跳转到SMS控制台的对应迁移任务详情页面，查看源端服务器详情、目的端配置信息、迁移状态以及错误信息提示等，如图4所示。
在增量数据校验中，如果通过Metastore查询，当分区数量超过30,000时，可能会因为将所有分区信息加载到内存中而导致内存溢出（OOM）。因此，使用MySQL作为元数据仓可以有效地解决这一问题。 不启用：系统通过MetaStore查询Hive表的分区信息。 启用：配置MySQL
/ 执行如下命令，启动MgC Agent。 ./start.sh 当出现如下图所示提示时，表示MgC Agent已经启动。 执行如下命令，查看MgC Agent进程。 ps -ef |grep edge 当出现如下图所示提示时，表示MgC Agent进程已经启动。 父主题： MgC
根据实际需求，选择业务场景、使用场景以及目的端区域，单击“创建”按钮，应用创建成功。 选择应用后，单击“确定”。在各资源的已关联应用列，查看资源所关联应用。 父主题： 资源采集
根据实际需求，选择业务场景、使用场景以及目的端区域，单击“创建”按钮，应用创建成功。 选择应用后，单击“确定”。在各资源的已关联应用列，查看资源所关联应用。 父主题： 资源采集
Agent添加凭证，添加对应类型的凭证，添加后会自动同步到MgC。 凭证同步失败：在MgC控制台左侧导航树，选择“配置管理 > 凭证管理”，单击MgC Agent名称，查看在MgC Agent添加的凭证是否同步到MgC。如果未同步，请前往MgC Agent控制台重新同步，确保在MgC的凭证管理页面可以看到相关凭证。
Agent添加凭证，添加对应类型的凭证，添加后会自动同步到MgC。 凭证同步失败：在MgC控制台左侧导航树，选择“配置管理 > 凭证管理”，单击MgC Agent名称，查看在MgC Agent添加的凭证是否同步到MgC。如果未同步，请前往MgC Agent控制台重新同步，确保在MgC的凭证管理页面可以看到相关凭证。
行”，手动启动迁移。 迁移任务运行后，单击操作列的“查看实例”，进入任务进度页签，可以查看该任务产生的运行实例以及迁移进度。 单击状态列的“重新运行”，可以多次运行迁移实例。 单击进度统计列的“查看”，进入进度详情页面。可以查看迁移的数据表清单、状态并导出任务结果。 （可选）数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
