检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
{ECS私网IP} 设置iptables规则以进行网络地址转换。 测试DLI队列与数据源的连通性 登录DLI管理控制台,在左侧导航栏单击“资源管理 > 队列管理”,可进入队列管理页面。 找到为弹性资源池添加的DLI队列,单击操作列的“更多 > 测试地址连通性”,弹出测试地址连通性窗口。 参考窗
存储类别。 保留源端存储类型转换说明 配置存储策略选择“保留源端存储类型”时,源端存储类型与华为云存储类型之间的转换关系参见表1。括号内的数值分别代表:每月每GB容量费用|每万次读取请求费用|每万次写入请求费用|每GB标准取回费用(标准存储类型不涉及)。表中费用数据仅供参考,具体以各云厂商提供的数据为准。
在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“更多>修改”,可以修改任务参数配置。 图5 元数据同步任务管理 单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以
人员。 在待迁移主机列表,单击列表上方“高级批量配置 > 导出目的端配置”,将列表中的所有主机信息以Excel文件格式下载到本地。 打开导出的文件,选择第一个sheet页,名为“servers”。其中蓝色列(A~G列)为源端主机信息,无需修改;黄色列(H~K列)为目的端主机信息,需要配置。
人员。 在待迁移主机列表,单击列表上方“高级批量配置 > 导出目的端配置”,将列表中的所有主机信息以Excel文件格式下载到本地。 打开导出的文件,选择第一个sheet页,名为“servers”。其中蓝色列(A~G列)为源端主机信息,无需修改;黄色列(H~K列)为目的端主机信息,需要配置。
在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“更多>修改”,可以修改任务参数配置。 图5 元数据同步任务管理 单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以
”按钮,会在任务管理列表中生成一条全量数据迁移任务并自动开始执行迁移。 手动运行:如果需要后续手动启动迁移任务,则只需单击“保存”按钮,在任务管理列表中生成一条全量数量迁移任务。在需要启动迁移时,单击操作列的“运行”,手动启动迁移。 迁移任务运行后,单击操作列的“查看实例”,进入
目的端配置表页面。 在资源配置明细区域的主机页签,单击已完成规格评估主机购买状态列的“添加至购买列表”,购买状态变为“待购买”。 添加完成后,在页面上方的购买列表框中,单击“查看列表”按钮,进入购买列表页面。 在操作流程区域,单击“查看我的模板”,右侧弹出“我的模板”窗口,单击“创建模板”按钮,进入创建配置模板窗口。
的当前项目下拉列表中选择迁移项目。 单击目的端规格配置框中的“目的端配置表”按钮,进入目的端配置表页面。 在资源配置明细区域的主机页签,单击已完成规格评估主机购买状态列的“添加至购买列表”,购买状态变为“待购买”。 添加完成后,在页面上方的购买列表框中,单击“查看列表”按钮,进入购买列表页面。
dynamic.partition.mode strict nonstric 选择使用“自定义过滤”迁移策略迁移动态分区数据时,请添加该参数并配置参数值为nonstric。 否 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
各地域Endpoint信息请参考Endpoint对照表。 表11 阿里云云数据库ClickHouse连接参数配置说明 参数 配置说明 所属源 仅需在源端创建元数据连接。 连接名称 默认创建名称为“阿里云云数据库ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具
maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true:
maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true:
修复建议。 方式二: 查看失败对象列表 如果最后工作流OMS任务状态为失败,在工作流中找到失败对象列举路径,通常在目的端oms/{oms2.0任务id}/fail目录下面。 在工作流详细里面文件统计 – 失败列表文件路径 中也会展示。 失败对象列表为json格式,每一条代表是一个
”按钮,会在任务管理列表中生成一条全量数据迁移任务并自动开始执行迁移。 手动运行:如果需要后续手动启动迁移任务,则只需单击“保存”按钮,在任务管理列表中生成一条全量数量迁移任务。在需要启动迁移时,单击操作列的“运行”,手动启动迁移。 迁移任务运行后,单击操作列的“查看实例”,进入
”按钮,会在任务管理列表中生成一条增量数据迁移任务并自动开始执行迁移。 手动运行:如果需要后续手动启动迁移任务,则只需单击“保存”按钮,在任务管理列表中生成一条增量数据迁移任务。在需要启动迁移时,单击操作列的“运行”,手动启动迁移。 迁移任务运行后,单击操作列的“查看实例”,进入
MgC识别。 DLI队列连接选择 元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量
"Allow" } ] } 图4 SMS项目级资料 步骤三:授权 在统一身份认证服务,左侧导航栏,选择“用户组”。 在用户组列表中,单击步骤一创建的用户组操作列的“授权”。 图5 为用户组授权 搜索并勾选步骤二创建的两个自定义策略,单击“下一步”。 图6 选择自定义策略 授权范围方
配置完成后,单击“确认”按钮,采集任务创建完成。在任务列表中可以查看任务的数据源采集状态。 数据源采集成功后,可以通过如下方式获取采集结果: 单击任务操作列的“下载json”,将采集结果保存为json文件,用于将采集结果导入MgC进行应用关联分析,详情请参考导入工具采集结果。 单击任务操作列的“下载csv”,将采
MgC识别。 DLI队列连接选择 元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量