检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Agent，注册用户并连接迁移中心。 步骤六：创建大数据迁移任务 完成步骤一到步骤五的操作，并了解大数据校验任务的使用须知后。按照以下步骤创建大数据数据迁移任务。 创建源端MaxCompute连接。 创建目的端DLI连接。 创建元数据迁移任务或数据迁移任务并执行。
创建元数据连接 创建元数据来源类型的连接，获取源端大数据库表清单。 目前支持的连接类型，参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake（有元数据） Delta Lake（无元数据）
创建元数据连接 创建元数据来源类型的连接，获取源端大数据库表清单。 目前支持的连接类型，参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake（有元数据） Delta Lake（无元数据）
如何防止采集数据泄露？ MgC通过以下方式确保采集数据的安全： 数据加密传输：采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证：MgC Agent上的凭证信息都会经过加密处理后保存在本地，不会通过网络传输到云端。 本地数据采集与存储：通过MgC Agent线下采集的信息
在元数据采集区域，单击“创建任务 > 元数据同步”按钮，右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验，校验任务执行成功，查看校验结果，发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中，如果遇到
在左侧导航栏选择“调研>大数据血缘”，进入大数据血缘页面。 在元数据采集区域，单击“创建任务 > 元数据同步”按钮，右侧弹出创建任务-元数据同步窗口。 根据表1，配置元数据同步任务参数。 表1 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任务-4位随机数（字母和数字）”，也可以自定义名称。
也可以自定义名称。 元数据连接 根据实际需求，选择已创建的元数据连接类型。 数据库 填写需要进行元数据同步的数据库名称。 须知： 元数据连接为MaxCompute类型时，该参数为必填参数，不能为空。其他元数据连接类型，该参数为可选参数，不填则代表同步全部数据库。 并发线程数 设置
元数据同步”按钮，右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任务-4位随机数（字母和数字）”，也可以自定义名称。 元数据连接 选择步骤8
选择HBase的版本。 在元数据采集区域，单击“创建任务 > 元数据同步”按钮，右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任
数据源采集失败，如何重新采集？ 采集失败的数据源，处理完失败原因后，需要删除后通过新增数据源重新采集。 在任务列表页面，单击采集任务操作列的“查看”，进入任务详情页面。 单击采集项操作列的“新增数据源”，弹出新增数据源窗口。 选择区域和资源类型，单击“确认”按钮。新增数据源成功，系统开始对新增的数据源进行采集。
在元数据采集区域，单击“创建任务 > 元数据同步”按钮，右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任
在元数据采集区域，单击“创建任务 > 元数据同步”按钮，右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任
单列表中可以查看导入的数据表。 导出数据表 支持将Delta Lake和Hudi有元数据的数据表导出为CSV格式。无元数据的数据表不支持导出。 在表管理页面，选择库表清单页签。 单击列表上方的“导出 > 导出数据表”按钮，弹出导出窗口。 选择需要导出的数据表所在表组，单击“确认”。
为避免数据重复，除了步骤1.创建的第一个元数据连接以外，新增的元数据连接不需要创建同步任务进行元数据采集。 参考创建表组并添加数据表，将源端数据表加入表组中。其中元数据连接选择步骤1.创建的第一个元数据连接。 分别创建源端执行机连接和目的端执行机连接，方法请参考创建执行机连接。
大数据-Hive Metastore凭证文件获取方法 参考访问FusionInsight Manager登录Manager，进入系统页面。 在左侧导航栏，选择“权限>用户”，进入用户页面。 在用户列表，选择要在MgC Agent（原Edge）添加凭证的用户，单击操作列“更多>下载
单列表中可以查看导入的数据表。 导出数据表 支持将Delta Lake和Hudi有元数据的数据表导出为CSV格式。无元数据的数据表不支持导出。 在表管理页面，选择库表清单页签。 单击列表上方的“导出 > 导出数据表”按钮，弹出导出窗口。 选择需要导出的数据表所在表组，单击“确认”。
支持规格评估的数据库类型 目前支持规格评估的数据库类型包括：MySQL、PostgreSQL、MongoDB、Oracle和SQL Server。 父主题： 规格评估
数据迁移失败，提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败，在数据湖探索的Spark作业查看报错信息为：The throttling thershold has been reached 问题分析 出现该问题，是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法
选择“在线调研”页签，单击“云平台采集”，进入云平台采集参数配置页面。 图1 云平台采集 根据表1，配置采集任务参数。 表1 云平台采集参数说明 区域 参数 说明 是否必选 基础配置 任务名称 自定义发现任务名称。 是 任务说明 输入发现任务说明。 否 任务配置 源端 选择源端云平台，目前支持的云
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
