检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明
Doris组件参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“Doris-4位随机数(字母和数字)”,也可以自定义名称。 Doris凭证 选择在Edge添加的目的端Doris凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-Doris”。 数据库地址
设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 自定义参数 可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据,请添加如下参数: 参数名:conf 参数值:spark
表1 DLI服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“DLI-4位随机数(字母和数字)”,也可以自定义名称。 DLI凭证 选择DLI云服务的凭证。凭证的添加方法请参考添加资源凭证中的大数据-DLI。如果所选凭证与登录迁移中心账号凭证相同,请
将编辑并保存好的CSV文件上传至MgC。 目的端配置 目的端连接 选择创建的目的端DLI SQL队列连接。 注意: 切勿选择通用队列。 自定义参数 根据实际需求进行配置,支持的自定义参数详情请参考conf参数说明和自定义参数说明。 迁移选项 并发连接数 设置迁移并发数。默认为3,1≤取值范围≤10。 配置完成后,选择任务的运行方式。
数据库名 用户自定义。 数据表名 用户自定义。 源表路径(可选) 元数据连接为Delta时,为必填项。 输入源端数据表在数据库中的存放路径。 目标表路径(可选) 元数据连接为Delta(无元数据)时,为必填项。 输入目的端数据表在数据库中的存放路径。 分区信息(可选) 用户自定义。 是否分区表(可选)
设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 自定义参数 可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据,请添加如下参数: 参数名:conf 参数值:spark
定义重新创建。 目的端连接 选择创建的目的端DLI SQL队列连接。 注意: 切勿选择通用队列。 自定义参数 根据实际需求进行配置,支持的自定义参数详情请参考conf参数说明和自定义参数说明。 表类型 根据实际情况选择。 文件类型 根据实际情况选择。 压缩格式 根据实际情况选择。
户,方法请参见安装Linux版本的Edge工具。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。 在弹出的窗口中,自定义项目名称,仔细查看并了解项目类型的适用场景后,选择项目类型,单击“确认”。 在左侧导航栏的“配置管理 > 项目管理”页签可以查看和管理已创建的项目。
户,方法请参见安装Linux版本的Edge工具。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。 在弹出的窗口中,自定义项目名称,仔细查看并了解项目类型的适用场景后,选择项目类型,单击“确认”。 在左侧导航栏的“配置管理 > 项目管理”页签可以查看和管理已创建的项目。
户,方法请参见安装Linux版本的Edge工具。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。 在弹出的窗口中,自定义项目名称,仔细查看并了解项目类型的适用场景后,选择项目类型,单击“确认”。 在左侧导航栏的“配置管理 > 项目管理”页签可以查看和管理已创建的项目。
户,方法请参见安装Linux版本的Edge工具。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。 在弹出的窗口中,自定义项目名称,仔细查看并了解项目类型的适用场景后,选择项目类型,单击“确认”。 在左侧导航栏的“配置管理 > 项目管理”页签可以查看和管理已创建的项目。
”按钮,进行工作流配置。 根据表1,配置工作流参数。 表1 主机迁移工作流配置参数说明 区域 参数 说明 工作流详情 名称 用户自定义 描述 用户自定义 应用程序 应用名称 选择待迁移资源所关联的应用。 迁移网络配置 网络类型 选择公网迁移,要求目的端服务器配置有“弹性公网IP(EIP)”,迁移时会使用目的端EIP。
户,方法请参见安装Linux版本的Edge工具。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。 在弹出的窗口中,自定义项目名称,仔细查看并了解项目类型的适用场景后,选择项目类型,单击“确认”。 在左侧导航栏的“配置管理 > 项目管理”页签可以查看和管理已创建的项目。
户,方法请参见安装Linux版本的Edge工具。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。 在弹出的窗口中,自定义项目名称,仔细查看并了解项目类型的适用场景后,选择项目类型,单击“确认”。 在左侧导航栏的“配置管理 > 项目管理”页签可以查看和管理已创建的项目。
MaxCompute连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“MaxCompute-4位随机数(字母和数字)”,也可以自定义名称。 阿里云凭证 选择源端阿里云账号的凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-MaxCompute”。 项目名称 输入
户,方法请参见安装Linux版本的Edge工具。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。 在弹出的窗口中,自定义项目名称,仔细查看并了解项目类型的适用场景后,选择项目类型,单击“确认”。 在左侧导航栏的“配置管理 > 项目管理”页签可以查看和管理已创建的项目。
户,方法请参见安装Linux版本的Edge工具。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。 在弹出的窗口中,自定义项目名称,仔细查看并了解项目类型的适用场景后,选择项目类型,单击“确认”。 在左侧导航栏的“配置管理 > 项目管理”页签可以查看和管理已创建的项目。
K验证失败,如何处理?进行排查处理。 如果是进行主机迁移,输入的AK/SK需要具备SMS服务的相关权限。需要的权限和配置方法请参考SMS自定义策略。 您可以选择是否将输入的AK/SK保存为目的端凭证(推荐您选择“是”)。 选择“否”,与迁移中心连接成功后,输入的AK/SK会被删除。