检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
RabbitMQ采集器(app-discovery-rabbitmq) 通过连接到RabbitMQ管理插件,获取RabbitMQ节点列表、版本、队列以及队列中的消费者endpoint等信息。参数配置说明参见表1。 表1 RabbitMQ采集器参数配置信息 参数 必选 配置说明 output_path
默认创建名称为“MaxCompute到DLI元数据全量迁移-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 MaxCompute参数 非必填参数,一般为空。如有需要,可参考MaxCompute参数文档进行配置。 数据范围
默认创建名称为“MaxCompute到DLI元数据增量感知-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 MaxCompute参数 非必填参数,一般为空。如有需要可参考MaxCompute参数文档进行配置。 数据范围
默认创建名称为“MaxCompute到DLI全量数据迁移-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 预估项目周期(天)(可选) 配置后,系统会在任务执行时检查表的生命周期。若表的生命周期在项目的预期结束时间
新增数据表参数说明 参数 说明 元数据连接 根据实际需求,选择已创建的元数据连接类型。 数据库名 用户自定义。 数据表名 用户自定义。 源表路径(可选) 元数据连接为Delta时,为必填项。 输入源端数据表在数据库中的存放路径。 目标表路径(可选) 元数据连接为Delta(无元数据)时,为必填项。
开始和到期日期/时间 需要确保在迁移任务过程中,连接字符串不会失效。 单击“生成SAS和连接字符串”,即可显示连接字符串和SAS令牌、Blob服务SAS URL,单击连接字符串后的复制图标即可复制连接字符串。 可以使用连接字符串来访问 Azure 存储。 父主题: 存储迁移
默认创建名称为“MaxCompute到DLI增量数据迁移-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 增量区间 选择T-N区间作为增量数据的迁移范围,即任务开始执行时间的前 24 x N 小时内的增量数据。例如:选择T-1,2024/06/06
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“Hive Metastore”,单击“下一步”。 根据Hive Metastore连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Hive Metastore连接参数配置说明 参数
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“Delta Lake(无元数据)”,单击“下一步”。 根据表1,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Delta Lake(无元数据)连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“Delta Lake(有元数据)”,单击“下一步”。 根据表1,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Delta Lake(有元数据)连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称
手动添加 适用于采集本地主机和暂不支持公网、内网采集的云平台主机。 前提条件 已在源端内网环境安装Edge工具,并与迁移中心连接。 已在Edge上添加源端主机凭证。为确保采集过程具备充分的系统访问权限,主机凭证要求如下: Linux主机,请添加Root账号和密码做为采集凭证。 W
以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后,将Edge与迁移中心进行连接,方法请参考连接迁移中心。 Edge与迁移中心连接成功后,添加大数据相关凭证,方法请参考添加资源凭证。 父主题: 大数据血缘
模板中单元格不允许存在公式且必须是文本格式,否则会导致解析失败。 元数据连接为Delta(有元数据)或Hudi(有元数据)连接时,模板中的source_path参数为必填项。 元数据连接为Delta(无元数据)或Hudi(无元数据)连接时,模板中的source_path和target_path参数为必填项。
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 自定义参数说明
大数据校验 大数据校验概述 准备工作 创建元数据连接 创建表组并添加数据表 创建连接 创建统计任务并执行校验 查看并导出校验结果
Excel编辑并保存的模板文件无法被MgC识别。 DLI队列连接选择 元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。
ux版本Edge。安装成功后,将Edge与迁移中心进行连接,连接方法请参考连接迁移中心。 迁移工具Edge不具备自动重启功能,严禁在任务执行期间重启Edge,以避免任务失败。 选择并启用迁移工具 迁移工具Edge与迁移中心连接成功后,登录迁移中心管理控制台。 在左侧导航栏选择“实
AK/SK验证失败,如何处理? 问题描述 安装Edge并注册成功后,连接迁移中心时,输入AK/SK查询项目,提示AK/SK错误。 问题分析 出现该问题可能的原因有: AK,SK输入错误。 AK,SK被删除或停用。 AK,SK所属账号没有开通编程访问方式。 处理方法 AK,SK输入错误
端口占用:Edge会占用源端主机上的一些端口,也可能会对源端业务产生影响。 安装完成并注册用户后,将Edge与迁移中心进行连接,方法请参考连接迁移中心。 连接成功后,需要在Edge上添加源端待迁移主机凭证,凭证的添加方法请参考添加资源凭证。资源类型请根据实际情况选择“Windows主机”或“Linux主机”。
根据表2,填写相应参数。 表2 添加数据库参数配置说明 参数 说明 名称 用户自定义 采集设备 选择在源端注册并与迁移中心连接的Edge。 类型 选择“Oracle”。 IP 输入可以连接到源端Oracle数据库服务器的IP地址。 端口 源端Oracle 数据库监听端口。默认为1521。 服务名称/SID