检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是私有IP;迁移预检查通过后,该IP会作为后续主机迁移工作流的资源接入IP。 端口 主机开放端口。 Windows主机默认为5985端口,无法修改。 Linux主机默认22端口,可根据实际情况修改。 凭证 选择主机凭证,如未提前在Edge上添加源端主机凭证,请前往Edge控制台添加,并同步至迁移中心。
是私有IP;迁移预检查通过后,该IP会作为后续主机迁移工作流的资源接入IP。 端口 主机开放端口。 Windows主机默认为5985端口,无法修改。 Linux主机默认22端口,可根据实际情况修改。 凭证 选择主机凭证,如未提前在Edge上添加源端主机凭证,请前往Edge控制台添加,并同步至迁移中心。
创建源端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建源端连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据)
是私有IP;迁移预检查通过后,该IP会作为后续主机迁移工作流的资源接入IP。 端口 主机开放端口。 Windows主机默认为5985端口,无法修改。 Linux主机默认22端口,可根据实际情况修改。 凭证 选择主机凭证,如未提前在Edge上添加源端主机凭证,请前往Edge控制台添加,并同步至迁移中心。
在资源列表选择资源类型,进入对应的资源列表页面。 勾选需要关联到同一应用的资源,单击页面左上角的“关联到应用”,弹出关联到应用窗口。 在下拉列表中选择需要关联的应用。未提前创建应用,单击“新建应用”,输入自定义的应用名称和描述;根据实际需求,选择业务场景、使用场景以及目的端区域,单击“创建”按钮,应用创建成功。
源端账号拥有只读权限即可。 可能产生接口调用相关费用。 “表格上传”方式,通过填写TCO任务模板的方式上传源端信息进行评估分析。 须知: 模板中的主机数量不能超过9999台。 目的端区域 选择目的端所在区域。 配置完成后,单击“确认”按钮,提交上云成本分析任务。 提交成功后可以在上云成本分析(凭
在资源列表选择资源类型,进入对应的资源列表页面。 勾选需要关联到同一应用的资源,单击页面左上角的“关联到应用”,弹出关联到应用窗口。 在下拉列表中选择需要关联的应用。未提前创建应用,单击“新建应用”,输入自定义的应用名称和描述;根据实际需求,选择业务场景、使用场景以及目的端区域,单击“创建”按钮,应用创建成功。
创建元数据连接 创建元数据来源类型的连接,获取源端大数据库表清单。 目前支持的连接类型,参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake(有元数据) Delta Lake(无元数据)
创建执行机连接 执行机是获取数据的任务执行单元,需要分别与源端和目的端的执行机建立连接,然后执行数据统计,统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验: Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据)
迁移中心管理员权限,拥有操作MgC的所有权限。 系统策略 MgC FullAccess策略内容 MgC ReadOnlyAccess 迁移中心只读权限,仅能查看MgC资源,无法进行操作。 系统策略 MgC ReadOnlyAccess策略内容 MgC DiscoveryAccess 迁移中心资源发现操作权限,拥有操作资源发现功能的权限和只读权限。
业务需求。 单击“确认”。目的端绑定成功后,系统会自动判断所绑定的目的端是否进行了磁盘缩容,在“磁盘缩容”列,“是”代表已缩容;“否”代表未缩容。 进行目的端磁盘缩容后,即可前往创建主机迁移工作流。当迁移步骤(进度条)到达“调整磁盘分区”步骤时,系统会识别目的端主机是否进行了磁盘缩容。
DeltaLake(有元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake存在元数据,可通过数据湖元数据同步方式进行数据采集。
创建目的端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括: 数据湖探索(DLI) CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
创建并运行数据湖元数据同步任务 利用创建的Delta Lake元数据连接,将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake(有元数据)支持创建数据湖元数据同步任务。 Delta Lake(无元数据)只能通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据。
移。 LTS 是 否 1个 主机组名称:“oms_lts_host_group_” + 集群id 保存和搜索迁移集群中的日志。 创建集群时未勾选“启用LTS服务”,则不会创建。 主机组标识:“oms_lts_host_group_label_” + 集群id 日志组名称:“oms_lts_log_group_”
选择“用户名/密钥”。凭证的添加方法请参考添加资源凭证。其中用户名输入HBase客户端登录用户名,密钥需要上传以下配置文件: 非安全集群(未开启Kerberos认证)需要上传core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site