检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"obs://mgc-test/data/fastjson-1.2.54.jar"] spark.sql.catalog.mc_catalog.tableWriteProvider：填写tunnel。 spark.sql.catalog.mc_catalog.tableReadProvider：填写tunnel。
"obs://mgc-test/data/fastjson-1.2.54.jar"] spark.sql.catalog.mc_catalog.tableWriteProvider：填写tunnel。 spark.sql.catalog.mc_catalog.tableReadProvider：填写tunnel。
"obs://mgc-test/data/fastjson-1.2.54.jar"] spark.sql.catalog.mc_catalog.tableWriteProvider 填写tunnel 专线迁移场景为必填 spark.sql.catalog.mc_catalog.tableReadProvider
a/client/bigdata_env， 如果该参数不为空，则环境变量文件在命令执行前将被自动“source” SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知： 迁移完成后，您需要手动清理该路径下生成的文件夹，以释放存储空间。
上游组件类型(SourceComponentType) 作业ID(JobId) 须知： 模板中目标组件类型和上游组件类型支持的类型包括HiveSQL、MaxCompute。 模板中单元格不允许存在公式，否则会导致解析失败。 模板参数填写完成并保存后，单击窗口的“添加文件”，将填写后的模板文件上传至迁移中心。
a/client/bigdata_env， 如果该参数不为空，则环境变量文件在命令执行前将被自动“source” SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知： 迁移完成后，您需要手动清理该路径下生成的文件夹，以释放存储空间。
编辑并保存的模板文件无法被MgC识别。 DLI队列连接选择 元数据迁移和数据迁移需要使用不同的DLI队列连接，元数据迁移需要使用DLI SQL队列连接，数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败，因此在配置任务时，必须仔细检查并确保任务类型与队列类型相匹配。
填写连接执行机的端口，默认为22端口。 安装目录 填写MRS客户端的安装目录路径。即安装客户端时，“./install.sh” 所填写的地址。 SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知： 迁移完成后，您需要手动清理该路径下生成的文件夹，以释放存储空间。
完成所有表信息的添加后，保存CSV文件的更改。 将编辑并保存好的CSV文件上传至MgC。 目的端配置 目的端连接 选择创建的目的端DLI SQL队列连接。 注意： 切勿选择通用队列。 自定义参数 根据实际需求进行配置，支持的自定义参数详情请参考conf参数说明和自定义参数说明。 迁移选项
可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据，请添加如下参数： 参数名：conf 参数值：spark.sql.catalogImplementation=hive 如果源端是阿里云 EMR Delta 2.2版本并且是通过Delta 2.3版本依赖访问时，请添加如下参数：
动查询账号在该区域下的项目。 区域/项目 选择需要校验的数据所在区域/项目。 队列名称 输入需要进行校验的DLI队列名称。队列类型必须是SQL队列。 表2 CloudTable(ClickHouse)服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为
操作。 重建：如果目的端已经存在同名的数据表，该表及其数据将被完全删除，并根据源端的定义重新创建。 目的端连接 选择创建的目的端DLI SQL队列连接。 注意： 切勿选择通用队列。 自定义参数 根据实际需求进行配置，支持的自定义参数详情请参考conf参数说明和自定义参数说明。 表类型
缺的，三个jar包的用途和获取方法如下： migration-dli-spark-1.0.0.jar 用途：用于创建spark会话并提交sql语句。 获取方法：在迁移工具Edge所部属主机的“/opt/cloud/Edge/tools/plugins/collectors/big
如何防止采集数据泄露？ MgC通过以下方式确保采集数据的安全： 数据加密传输：采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证：Edge上的凭证信息都会经过加密处理后保存在本地，不会通过网络传输到云端。 本地数据采集与存储：通过Edge线下采集的信息会被安全地保存在本地
计费说明 迁移中心当前免费使用，但在进行工作流迁移时，会产生其他相关服务的费用。 主机迁移计费说明 在进行主机迁移过程中，会产生少量其他服务费用，详情请参见SMS计费说明。 对象存储迁移计费说明 在进行对象存储迁移过程中，会产生华为云OBS、源端云厂商API请求费用，详情请参考OMS计费说明。
项目 输入需要校验的数据所在的项目ID。获取方法请参考获取项目的名称和ID。 队列名称 输入需要进行校验的DLI队列名称。队列类型必须是SQL队列。 在MgC控制台，创建MaxCompute统计任务并执行，方法请参考创建统计任务并执行校验。需要注意任务配置中的表组，选择步骤步骤16
约束与限制 本文介绍迁移中心（MgC）在使用过程中的约束与限制，包括MgC服务的使用限制，进行主机迁移、跨可用区（AZ）迁移和存储迁移时存在的约束与限制。 MgC区域限制 MgC部署在“华南-广州”区域。虽然MgC为Region级服务，但提供了全局服务的能力。即在一个Region
表2 阿里云云数据库ClickHouse连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“阿里云云数据库ClickHouse-4位随机数（字母和数字）”，也可以自定义名称。 ClickHouse凭证 选择在Edge添加的源端阿里云云数据库ClickH
Doris连接 HBase连接 ClickHouse连接 Hudi（有元数据）连接 Hudi（无元数据）连接 MaxCompute连接 阿里云云数据库ClickHouse连接 您还可以通过手动添加、导入模板等方式添加元数据库表信息，方法请参见查看元数据。 前提条件 已创建元数据连接。 操作步骤
存储迁移的约束与限制有哪些？ 使用迁移中心进行存储迁移的约束与限制参见表1和表2。 表1 存储迁移通用约束与限制 类别 约束与限制 多版本对象迁移 默认只迁移源端多版本对象中的最新版本，不支持迁移历史版本的对象存储数据。 目的端桶存储类别 目的端桶的存储类别只能为标准存储或者低频
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
