检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移:只需要配置一条连接到DLI SQL队列的连接。 数据迁移:需要配置两条连接,分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>
通过执行日期,筛选出要查看的执行批次。 在校验结果列表中,可以进行如下操作: 查看校验详情:单击分区达标详情列的“查看”按钮,展开该数据表的作业详情。单击操作列的“查看详情”,进入校验详情页面,查看该数据表的校验详细信息。 查看执行历史及状态:单击操作列的“查看历史”,可以查看该表的所有执行批次和达标状态。
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题: 大数据校验
”,如何处理? 大批量主机同时迁移时,可能出现的异常问题 主机迁移工作流错误码处理方法汇总 VMware主机迁移时,出现报错如何处理? MgC主机工作流资源与SMS迁移服务器列表之间的映射关系 为什么MgC迁移进度和SMS迁移进度显示不一致? sudo用户进行主机迁移时,主机迁移工作流校验源端环境失败
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>迁移准备”,进入迁移准备页面。 选择元数据管理,在大数据血缘分析页签,单击“查看血缘”,进入血缘图页面。 图1 查看血缘 通过数据库名、表名筛选需要查看的血缘图。如果进行了大数据校验,还可以通过校验批次进行筛选。
作业ID(JobId) 须知: 模板中目标组件类型和上游组件类型支持的类型包括HiveSQL、MaxCompute。 模板中单元格不允许存在公式,否则会导致解析失败。 模板参数填写完成并保存后,单击窗口的“添加文件”,将填写后的模板文件上传至迁移中心。 注意: 文件大小不能超过100 MB。
配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql
“确认”按钮。支持添加多个步骤。 迁移阶段中的步骤添加完成后,单击“确认”按钮,完成迁移阶段的添加。 只有自行添加的阶段,可以进行修改、删除操作,模板中的迁移阶段无法进行修改和删除。 添加步骤 在迁移工作流详情页面,将鼠标移动到步骤名称上,选择添加前置步骤/添加后置步骤,弹出添加步骤窗口。
“确认”按钮。支持添加多个步骤。 迁移阶段中的步骤添加完成后,单击“确认”按钮,完成迁移阶段的添加。 只有自行添加的阶段,可以进行修改、删除操作,模板中的迁移阶段无法进行修改和删除。 添加步骤 在迁移工作流详情页面,将鼠标移动到步骤名称上,选择添加前置步骤/添加后置步骤,弹出添加步骤窗口。
设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶(以下称为日志桶),实现对日志和内容校验结果的有效管理和分析。设置了日志桶后,会默认使用大数据校验中的日志上传功能,将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限:
作业ID(JobId) 须知: 模板中目标组件类型和上游组件类型支持的类型包括HiveSQL、MaxCompute。 模板中单元格不允许存在公式,否则会导致解析失败。 模板参数填写完成并保存后,单击窗口的“添加文件”,将填写后的模板文件上传至迁移中心。 注意: 文件大小不能超过100 MB。
创建迁移任务 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
本节介绍为文件存储批量迁移配置迁移方案的方法。 文件存储批量迁移:适用于源端有多个文件存储地址内的资源需要迁移的场景。如果只有单个文件存储地址内的资源需要迁移,请直接创建单个文件存储迁移工作流。 准备工作 创建迁移项目。 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 创建迁移集群。
配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql
工作流配额限制说明 为确保资源的合理分配和系统的稳定运行,在创建工作流时,设定了以下配额限制。请在创建工作流前了解这些限制,以避免因超出配额而导致创建失败。 日创建上限:在同一项目下,每天允许创建的迁移工作流数量上限为50个。 运行中工作流资源总量限制:同一用户同时进行迁移的主机数量上限为10
table",需要您手动删除DLI中的分区数据,然后再进行迁移。 在进行指定分区数据迁移的场景下,由于MaxCompute在创建表时会自动将表名转换为小写,因此在迁移过程中,请确保Excel文件中的库表名称与MaxCompute中的实际表名一致(全部小写)。如果Excel文件中填写的库表名称为大写,
工作流配额限制说明 为确保资源的合理分配和系统的稳定运行,在创建工作流时,设定了以下配额限制。请在创建工作流前了解这些限制,以避免因超出配额而导致创建失败。 日创建上限:在同一项目下,每天允许创建的迁移工作流数量上限为50个。 运行中工作流资源总量限制:同一用户同时进行迁移的主机数量上限为10
选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 安装目录 填写MRS/CDH客户端的安装目录路径。即安装客户端时,“./install.sh” 所填写的地址。 SQL文件地址
选择在源端环境中安装的MgC Agent(原Edge)。 执行机凭证 选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 安装目录 填写MRS/CDH客户端的安装目录路径。即安装客户端时,“
说明 表组名 用户自定义 元数据连接 根据实际需求,选择创建的源端连接。 注意: 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差异最大值(即错误容忍度)。MgC提供了多种类型的对数标准可供选择,关于对数标准的详细说明,可以单击新增表组弹窗中的“查看更多”进行查看。