检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
血缘采集概述 通过血缘采集，可以建立起数据元素之间的关系和依赖关系，从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知，参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶，并将桶的读写权限委托给迁移中心。 SQL作业
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”，进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域，单击“创建任务”，弹出创建血缘采集任务窗口。 根据实际作业类型，选择文件类型并配置对应参数。
机性能负载数据，再通过设置数据处理规则，推荐满足条件的CPU核数、内存大小。采集的性能数据越多，推荐的规格越准确，建议主机性能采集时长不少于7天。 选择“按性能负载调整”，会通过设置的数据处理规则对目标CPU数量和内存大小进行调整。从最后一条采集数据起，选取“性能数据范围（天）”
选择的OBS目录获取导出结果。 导出阿里云DataWorks作业 登录阿里云DataWorks控制台，单击左侧导航栏的“数据建模与开发 > 数据开发”，在下拉框中选择对应工作空间后单击“进入数据开发”。 单击左上方的图标，选择全部产品 > 更多 > 迁移助手，进入迁移助手首页。 参考创建和查看Da
的功能和操作有个初步认识。 迁移中心目前还支持跨可用区迁移和存储迁移，创建迁移工作流的操作步骤请参考华为云主机跨可用区迁移、迁移其他云平台存储数据至华为云。 操作流程 操作步骤 说明 准备工作 注册华为账号、开通华为云，并为账户充值。 获取账号迁移权限。 获取目的端账号的AK/SK。
创建迁移任务 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题： 大数据数据迁移（MaxCompute迁移到DLI）
Spark应用的Driver内存，参数配置例如：2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必须带单位，否则会启动失败。 父主题： 大数据数据迁移
MySQL节点IP：输入MySQL数据库服务器的IP地址。 MySQL服务端口：输入MySQL数据库服务的端口号。 数据库名：输入存储Hive表元数据的数据库名称。 说明： 请确保填写的MySQL凭证、节点IP、服务端口和数据库名与Hive实际使用的MySQL数据库相匹配，否则会导致数据校验失败。 表5
创建源端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括： MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入
的应用迁移项目。 单击左侧导航栏的“源端发现 > 资源采集”，进入资源采集页面。 选择“在线调研”页签，单击“云平台采集”，进入云平台采集参数配置页面。 图1 云平台采集 根据公网发现任务参数说明，配置公网发现任务参数。 表1 公网发现任务参数说明 区域 参数 说明 是否必选 基础配置
Agent（原Edge）日志报错信息如下： 问题分析 出现该问题可能是因为请求已达到接口流控上限。 解决方法 请联系技术支持，提高接口流控的阈值。 父主题： 大数据校验
客户端，进行sql操作，出现用同一个命令存在返回值不同的情况。 这是因为在进行大数据对数的求和计算时，由于分布式计算顺序的不确定性，可能会导致计算结果的不一致性。特别是处理接近或等于double类型最大值（1.7976931348623157E+308）的数据时，加上一个较小的数值（如2.0）可能会导致数值溢
务执行结果进行过滤，如有过滤，则只导出过滤后的数据。 图1 导出执行结果 单击“导出管理”按钮，右侧弹出导出管理窗口。 当导出进度为导出成功后，单击操作列的“下载”，可以将导出结果下载到本地。 图2 下载导出结果 父主题： 大数据数据迁移（MaxCompute迁移到DLI）
按应用：迁移应用内的主机。 按迁移方案：对迁移方案中配置的主机进行迁移。 应用程序 应用名称 资源范围选择“按应用”时，选择待迁移主机所关联的应用。 迁移方案 方案名称 资源范围选择“按迁移方案”时，选择待迁移主机所在的迁移方案。创建迁移方案的方法请参配置主机迁移方案。 迁移网络配置 网络类型
创建目的端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括： 数据湖探索（DLI） CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
创建目的端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括： 数据湖探索（DLI） CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录
MySQL节点IP：输入MySQL数据库服务器的IP地址。 MySQL服务端口：输入MySQL数据库服务的端口号。 数据库名：输入存储Hive表元数据的数据库名称。 说明： 请确保填写的MySQL凭证、节点IP、服务端口和数据库名与Hive实际使用的MySQL数据库相匹配，否则会导致数据校验失败。 参
并在资源列表展示资源的详细信息。此外，利用解析后的信息，您还可以使用迁移中心的规格评估功能，为您推荐与阿里云资源相匹配的华为云资源规格。 支持导入的阿里云资源类型包括： 云服务器 ECS实例和云盘 对象存储 OSS桶 云数据库 RDS MySQL实例 云数据库 Redis实例 导出阿里云ECS实例和云盘
并在资源列表展示资源的详细信息。此外，利用解析后的信息，您还可以使用迁移中心的规格评估功能，为您推荐与阿里云资源相匹配的华为云资源规格。 支持导入的阿里云资源类型包括： 云服务器 ECS实例和云盘 对象存储 OSS桶 云数据库 RDS MySQL实例 云数据库 Redis实例 导出阿里云ECS实例和云盘
创建执行机连接 执行机是获取数据的任务执行单元，需要分别与源端和目的端的执行机建立连接，然后执行数据统计，统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验： Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据） Hudi（有元数据）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
