检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云资源相匹配的华为云资源规格。 支持导入的阿里云资源类型包括: 云服务器 ECS实例和云盘 对象存储 OSS桶 云数据库 RDS MySQL实例 云数据库 Redis实例 导出阿里云ECS实例和云盘 登录阿里云ECS控制台。 在概览页面,单击“导出数据>实例”,导出所有实例资源清单。
的端组件选择“数据湖探索 DLI”,任务类型选择“增量数据迁移”,单击“下一步”,进入详细配置页面。 根据表1,配置增量数据迁移任务参数。 表1 增量数据迁移参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到DLI增量数据迁移-4位随机数(字母和数字)”,也可以自定义名称。
单击“新增数据表”按钮,弹出新增数据表窗口。 根据表1,配置参数。 表1 新增数据表参数说明 参数 说明 元数据连接 根据实际需求,选择已创建的元数据连接类型。 数据库名 用户自定义。 数据表名 用户自定义。 源表路径(可选) 元数据连接为Delta时,为必填项。 输入源端数据表在数据库中的存放路径。
单击“新增数据表”按钮,弹出新增数据表窗口。 根据表1,配置参数。 表1 新增数据表参数说明 参数 说明 元数据连接 根据实际需求,选择已创建的元数据连接类型。 数据库名 用户自定义。 数据表名 用户自定义。 源表路径(可选) 元数据连接为Delta时,为必填项。 输入源端数据表在数据库中的存放路径。
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“Doris”,单击“下一步”。 根据Doris连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Doris连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称
迁移。 需要配置多个匹配规则时,用英文分号隔开。 白名单 白名单为空时,迁移所有文件。 白名单不为空时,仅对绝对路径命中白名单规则的文件进行迁移/一致性对比。 时间段 配置时间段,根据配置,迁移最后修改时间在配置时间段内的文件或者文件夹。 开始时间和结束时间可以配置为空,为空时表示不限制,时间可以精确到分钟。
迁移。 需要配置多个匹配规则时,用英文分号隔开。 白名单 白名单为空时,迁移所有文件。 白名单不为空时,仅对绝对路径命中白名单规则的文件进行迁移/一致性对比。 时间段 配置时间段,根据配置,迁移最后修改时间在配置时间段内的文件或者文件夹。 开始时间和结束时间可以配置为空,为空时表示不限制,时间可以精确到分钟。
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“MaxCompute”,单击“下一步”。 根据MaxCompute连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 MaxCompute连接参数配置说明 参数 配置说明 所属源 选择源端。
下载并安装MgC Agent(原Edge) 安装Windows版本
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“Hive Metastore”,单击“下一步”。 根据Hive Metastore连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Hive Metastore连接参数配置说明 参数 配置说明
下载并安装MgC Agent(原Edge) 安装Windows版本 安装Linux版本
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“阿里云云数据库 ClickHouse”,单击“下一步”。 根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 ClickHouse组件参数配置说明 参数 配置说明 所属源
迁移集群所包含的资源类型以及所有节点的安全组配置详细信息请查看资源类型和安全组配置说明。 费用说明 在创建迁移集群时,会产生以下费用: 创建Master节点、迁移节点和列举节点会产生ECS服务费用。具体计费详情请参见ECS按需计费说明或ECS价格计算器。 如果您使用公网迁移时,会产生
选择存储迁移标准模板,单击“开始配置”按钮,进行工作流配置。 根据表1,配置基础信息参数。 表1 基础信息参数说明 参数 说明 名称 用户自定义。 区域 下拉菜单中选择目的端所在区域。 描述 用户自定义。 集群 选择创建的集群作为迁移集群。 根据表2、表3,配置源端、目的端信息。 表2 源端信息参数说明
偏好设置 可以设置“虚拟机类型”、“虚拟机规格族”、“系统盘规格”、“数据盘规格”,推荐目的端时优先推荐满足以上要求的主机。 配置完成后,单击“确认”,创建评估成功。 在迁移方案设计页面的应用列表,单击应用操作列的“查看资源配置”,进入目的端配置表页面。 在资源配置明细区域,可以查看
MgC Agent(原Edge)安装完成后,无法启动 Windows版本 Linux版本 父主题: 常见问题
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“Delta Lake(有元数据)”,单击“下一步”。 根据表1,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Delta Lake(有元数据)连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称
根据实际作业类型,选择文件类型并配置对应参数。 文件类型 参数 配置说明 血缘模板 文件 将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset) 目标表(TargetTable) 目标连接名称(TargetConnectionName)
根据实际作业类型,选择文件类型并配置对应参数。 文件类型 参数 配置说明 血缘模板 文件 将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset) 目标表(TargetTable) 目标连接名称(TargetConnectionName)
迁移集群所包含的资源类型以及所有节点的安全组配置详细信息请查看资源类型和安全组配置说明。 费用说明 在创建迁移集群时,会产生以下费用: 创建Master节点、迁移节点和列举节点会产生ECS服务费用。具体计费详情请参见ECS按需计费说明或ECS价格计算器。 如果您使用公网迁移时,会产生