检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建源端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括: MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数
选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 时间范围 全量区间:全量识别出上一次元数据迁移后,在源端数据库中发生变化的元数据。 增量区间:选择T-N区间作为增量元数据的识别范围,即任务开始执行时间的前 24 x N 小时内的增量元数据。例如:选择T-1,2024/06/06
最多可以创建5条记录。 时区时间以目的端Region的当地时间为准。 定时迁移 设置迁移任务在指定时间内迁移。 不勾选,手动启动/暂停迁移任务。 勾选,设置任务在指定时间范围内进行迁移,指定时间以外则暂停迁移。 例如: 设置开始时间08:00、结束时间12:00,则迁移任务会在每
7及以上版本:/var/lib/mysql/ 如果是云数据库,请参考各云厂商数据库的说明文档: 华为云 云数据库RDS 阿里云 云数据库RDS exclude_ip 否 填写不需要采集的客户端IP地址,多个IP地址之间用逗号分隔。例如:127.0.0.1,192.168.1.1 password 是 填写登录用户名对应的密码。
可在项目管理列表查看。 修改项目 单击操作列的“修改”按钮,弹出“修改项目”窗口。 可以修改项目名称、输入项目描述、设置项目的开始时间和结束时间,单击“确认”,完成修改。 归档项目 归档后的项目将在当前项目下拉列表中隐藏,无法选择。单击操作列的“归档”按钮,可将项目归档。如想重
采集参数配置说明 参数 是否必选 配置说明 ip 是 Orcale数据库实例IP。 port 是 Orcale数据库实例端口号。 user 是 Orcale数据库实例账号(拥有select any dictionary权限)。 password 是 Orcale数据库实例账号对应的密码。 sid
数据中包含mtime属性而导致校验失败。这是因为对象存储中的mtime属性(自定义)与PFS桶中的mtime属性(最后修改时间)存在不同。但实际上数据迁移是成功的,这个问题并不影响数据的迁移结果,您可以前往目的端确认对象是否已成功迁移。 场景二: 当源端和目标端的元数据不一致时,
创建并运行元数据同步任务 利用元数据连接,创建元数据同步任务,将源端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下: Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi(有元数据)连接 Hudi(无元数据)连接
创建并运行元数据同步任务 利用元数据连接,创建元数据同步任务,将源端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下: Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi(有元数据)连接 Hudi(无元数据)连接
可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据,请添加如下参数: 参数名:conf 参数值:spark.sql.catalogImplementation=hive 如果源端是阿里云 EMR Delta 2.2版本并且是通过Delta 2.3版本依赖访问时,请添加如下参数:
不勾选,不进行流量控制。 勾选,进行流量控制。分别设置“开始时间”、“结束时间”和“限速”数值。 例如:设置开始时间08:00、结束时间12:00、限速为20 MB/s,当迁移任务运行到(08:00~12:00)该时间段时,最大迁移速度将限制为20 MB/s。该时间段以外,迁移速度不做限制。 说明: 限速的数值范围:0~1048576
可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据,请添加如下参数: 参数名:conf 参数值:spark.sql.catalogImplementation=hive 如果源端是阿里云 EMR Delta 2.2版本并且是通过Delta 2.3版本依赖访问时,请添加如下参数:
选择内网模式。 同一个Region是内网迁移无需绑定EIP。 - 流量控制 设置迁移任务在指定时段的最大流量带宽。 不勾选,则不进行流量控制。 勾选,进行流量控制。在“开始时间”、“结束时间”和“限速”文本框中输入数值。 须知: 例如:设置开始时间08:00、结束时间12:00、限制最大流量20
最多可以创建5条记录。 时区时间以目的端Region的当地时间为准。 定时迁移 设置迁移任务在指定时间内迁移。 不勾选,手动启动/暂停迁移任务。 勾选,设置任务在指定时间范围内进行迁移,指定时间以外则暂停迁移。 例如: 设置开始时间08:00、结束时间12:00,则迁移任务会在每
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域,单击“创建任务”,弹出创建血缘采集任务窗口。 根据实际作业类型,选择文件类型并配置对应参数。
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>迁移准备”,进入迁移准备页面。 选择元数据管理,在大数据血缘分析页签,单击“创建血缘采集任务”,弹出创建血缘采集任务窗口。
不勾选,不进行流量控制。 勾选,进行流量控制。分别设置“开始时间”、“结束时间”和“限速”数值。 例如:设置开始时间08:00、结束时间12:00、限速为20 MB/s,当迁移任务运行到(08:00~12:00)该时间段时,最大迁移速度将限制为20 MB/s。该时间段以外,迁移速度不做限制。 说明: 限速的数值范围:0~1048576
参数 说明 是否必选 基础配置 任务名称 自定义发现任务名称。 是 任务说明 输入发现任务说明。 否 任务配置 源端 选择源端云平台,目前支持的云平台有阿里云、华为云、AWS、腾讯云、Azure、七牛云、金山云。 是 凭证 选择源端对应的凭证,如未提前添加凭证,请单击“新建凭证”,填写相应参数,校验并保存凭证。
勾选,进行流量控制。在“开始时间”、“结束时间”和“限速”文本框中输入数值。 须知: 例如:设置开始时间08:00、结束时间12:00、限制最大流量20 MB/s,当迁移任务运行到(08:00~12:00)该时间段时,最大迁移速度将限制为20 MB/s。该时间段以外,迁移速度不做限制。
勾选,进行流量控制。在“开始时间”、“结束时间”和“限速”文本框中输入数值。 须知: 例如:设置开始时间08:00、结束时间12:00、限制最大流量20 MB/s,当迁移任务运行到(08:00~12:00)该时间段时,最大迁移速度将限制为20 MB/s。该时间段以外,迁移速度不做限制。