检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建执行机连接 执行机是获取数据的任务执行单元，需要分别与源端和目的端的执行机建立连接，然后执行数据统计，统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验： Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据） Hudi（有元数据）
Spark应用的Driver内存，参数配置例如：2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必须带单位，否则会启动失败。 父主题： 大数据数据迁移（MaxCompute迁移到DLI）
节点创建 Master节点ECS规格 用于管理迁移节点和列举节点。 节点数量为1，无法修改。 迁移节点ECS规格 迁移节点用于执行迁移和对比的动作，推荐规格8U16G。 规格选定后，后续无法更改。 设置的节点数量需要同时满足如下要求： 迁移节点数+列举节点数+1 ≤100 迁移节点数+列举节点数+1
主机规格评估成功后，在资源配置明细区域，单击主机资源操作列的“更改目的端规格”，右侧弹出资源详情窗口。 单击磁盘对应的目的端规格处的“更改规格”，弹出修改窗口。 参考源端主机磁盘信息并结合实际情况，修改目的端磁盘的资源总用量（磁盘容量）。 例如，源端主机系统盘为50G，数据盘为20G，但实际使用量远低于此，
创建迁移任务 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题： 大数据数据迁移（MaxCompute迁移到DLI）
节点创建 Master节点ECS规格 用于管理迁移节点和列举节点。 节点数量为1，无法修改。 迁移节点ECS规格 迁移节点用于执行迁移和对比的动作，推荐规格8U16G。 规格选定后，后续无法更改。 设置的节点数量需要同时满足如下要求： 迁移节点数+列举节点数+1 ≤100 迁移节点数+列举节点数+1
整。为规避这一风险，首次迁移时请谨慎使用“不覆盖”策略。 选择“不覆盖”策略进行数据迁移时，如果迁移任务因错误中断后重启或从暂停状态恢复，可能会造成部分数据未完全迁移，而任务显示成功的现象，影响数据的完整性。为规避这一风险，请谨慎使用“不覆盖”策略。 直接覆盖 对于源端和目的端存
整。为规避这一风险，首次迁移时请谨慎使用“不覆盖”策略。 选择“不覆盖”策略进行数据迁移时，如果迁移任务因错误中断后重启或从暂停状态恢复，可能会造成部分数据未完全迁移，而任务显示成功的现象，影响数据的完整性。为规避这一风险，请谨慎使用“不覆盖”策略。 直接覆盖 对于源端和目的端存
登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”，进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域，单击“查看血缘图”，进入血缘图页面。 通过数据库名、表名筛选需要查看的血缘图。如果进行了大数据校验，还可以通过校验批次进行筛选。 父主题： 血缘采集
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>大数据血缘”，进入大数据血缘页面。 在血缘采集区域，单击“查看血缘图”，进入血缘图页面。 通过数据库名、表名筛选需要查看的血缘图。如果进行了大数据校验，还可以通过校验批次进行筛选。 父主题： 血缘采集
血缘采集概述 通过血缘采集，可以建立起数据元素之间的关系和依赖关系，从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知，参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶，并将桶的读写权限委托给迁移中心。 SQL作业
部署MgC Agent（原Edge） 使用迁移中心的大数据血缘功能前，需要先在可以访问源端元数据来源的环境中部署MgC Agent。 MgC Agent不具备自动重启功能，严禁在任务执行期间重启MgC Agent，以避免任务失败。 操作步骤 安装MgC Agent的方法请参考下载并安装MgC
部署迁移工具Edge 使用迁移中心的大数据血缘功能前，需要先在可以访问源端元数据来源的环境中部署迁移工具Edge。 迁移工具Edge不具备自动重启功能，严禁在任务执行期间重启Edge，以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后，将Edge
血缘采集概述 通过血缘采集，可以建立起数据元素之间的关系和依赖关系，从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知，参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶，并将桶的读写权限委托给迁移中心。 SQL作业
0 MB/s，当迁移任务运行到（08:00~12:00）该时间段时，最大迁移速度将限制为20 MB/s。该时间段以外，迁移速度不做限制。 时区时间以控制台所选Region的当地时间为准。 最多可以创建5条记录。 单击“确认”，完成流量控制规则的添加。 新增节点 新增迁移节点和列举
0 MB/s，当迁移任务运行到（08:00~12:00）该时间段时，最大迁移速度将限制为20 MB/s。该时间段以外，迁移速度不做限制。 时区时间以控制台所选Region的当地时间为准。 最多可以创建5条记录。 单击“确认”，完成流量控制规则的添加。 新增节点 新增迁移节点和列举
血缘采集 血缘采集概述 导出作业 创建血缘采集任务 查看血缘关系 父主题： 大数据血缘
血缘采集 血缘采集概述 导出作业 创建血缘采集任务 查看血缘关系 父主题： 大数据血缘
存储迁移的约束与限制有哪些？ 迁移对源端和目的端有什么要求？ 进行存储迁移时，如何选择集群规格？ 影响大对象迁移速度的关键因素有哪些？ 影响小对象迁移速度的关键因素有哪些？ 如何监控和查看影响迁移速度的关键指标? 为什么存储迁移工作流进度长时间没有变化？ 将HTTP/HTTPS数据源迁移到OBS时
配置OBS桶 设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶（以下称为日志桶），实现对日志和内容校验结果的有效管理和分析。设置了日志桶后，会默认使用大数据校验中的日志上传功能，将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
