检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分别创建源端执行机连接和目的端执行机连接,方法请参考创建执行机连接。 分别创建源端Delta统计任务和目的端Delta统计任务并执行,方法请参考创建统计任务并执行校验。
可以登录目的端集群的FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”,搜索“https_port”参数获取。 分别创建源端和目的端MRS ClickHouse统计任务并执行,方法请参考创建统计任务并执行校验。
迁移对源端和目的端有什么要求? 迁移会占用源端和目的端大量的QPS(每秒查询率)和带宽。因此,建议在迁移前先进行测试,以评估实际迁移过程中源端和目的端的QPS和带宽占用情况。如果占用率过高,请调整源端和目的端QPS和带宽限制,以确保对现有业务的影响最小化。 父主题: 存储迁移
如果您是首次使用MgC的主机迁移工作流,需要您同意华为云账号进行相关的委托授权。委托权限所包含的细粒度权限请前往委托权限说明查看。 使用须知 在创建主机迁移工作流前,请仔细阅读并了解以下使用须知内容。 项目 须知 源端下载带宽 用于源端服务器下载迁移Agent。
如果是首次创建迁移集群,需要您同意华为云账号进行相关的委托授权。委托权限所包含的细粒度权限请前往委托权限说明查看。 根据表1,配置参数。 表1 集群参数配置说明 区域 参数 配置说明 限制说明 基础配置 集群名称 自定义名称。 同一账户下集群名称不可重名。
创建并运行数据湖元数据同步任务 利用创建的Delta Lake元数据连接,将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake(有元数据)支持创建数据湖元数据同步任务。 Delta Lake(无元数据)只能通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据
大对象迁移:如果子任务中包含了大型文件或对象,可能需要较长时间来迁移。 后台处理:即使进度没有实时更新,迁移过程也可能在后台继续进行。进度条的更新可能存在延迟。 解决方案 请耐心等待,尤其是当迁移包含大量数据时。 如果长时间未更新,可以联系技术支持人员以排查潜在问题。
如何防止采集数据泄露? MgC通过以下方式确保采集数据的安全: 数据加密传输:采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证:Edge上的凭证信息都会经过加密处理后保存在本地,不会通过网络传输到云端。 本地数据采集与存储:通过Edge线下采集的信息会被安全地保存在本地。
创建元数据连接 创建元数据来源类型的连接,获取源端大数据库表清单。 目前支持的连接类型,参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake(有元数据) Delta Lake
创建源端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括: MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。
单击目的端规格配置框中的“目的端配置表”按钮,进入目的端配置表页面。 在资源配置明细区域的主机页签,单击已完成规格评估主机购买状态列的“添加至购买列表”,购买状态变为“待购买”。 添加完成后,在页面上方的购买列表框中,单击“查看列表”按钮,进入购买列表页面。
在后续进行目的端规格评估时,可以根据采集到的源端主机实际性能负载推荐目的端主机CPU核数、内存大小等性能规格。 使用须知 开始采集后,默认每5分钟进行一次数据采集。 建议采集时长≥1小时,若采集时长不足,将无法获取7天和30天最大值以及平均值数据。
创建弹性文件系统 在目的端创建相应的弹性文件系统,用于迁移后的数据存储和管理,方法请参见创建弹性文件系统。 父主题: SFS1.0迁移至SFS 3.0
查看并导出校验结果 当源端与目的端的统计任务都执行完成后,在校验结果页面可以查看并导出任务的执行结果。校验结果将按照任务开始执行的日期进行分批,如果单日多次执行校验任务,系统只会保留最后一次的校验结果,之前的执行结果会被后续的执行所覆盖。 前提条件 已创建统计任务并执行校验。
创建并运行元数据同步任务 利用元数据连接,创建元数据同步任务,将源端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下: Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi(有元数据)连接 Hudi(无元数据
大数据-Hive Metastore凭证文件获取方法 参考访问FusionInsight Manager登录Manager,进入系统页面。 在左侧导航栏,选择“权限>用户”,进入用户页面。 在用户列表,选择要在Edge添加凭证的用户,单击操作列“更多>下载认证凭据”,可以下载凭证文件中的
事件记录 Edge提供了一系列日志记录和事件审计功能,允许用户通过控制台界面和日志文件查看和了解操作行为,并进行错误排查和资源定位。 功能介绍 日志记录:系统会生成详细的操作日志,日志文件存储于:{Edge安装路径}/logs/audit/audit.log 。 事件记录界面:Edge
数据源采集失败,如何重新采集? 采集失败的数据源,处理完失败原因后,需要删除后通过新增数据源重新采集。 在任务列表页面,单击采集任务操作列的“查看”,进入任务详情页面。 单击采集项操作列的“新增数据源”,弹出新增数据源窗口。 选择区域和资源类型,单击“确认”按钮。新增数据源成功,系统开始对新增的数据源进行采集
问题分析 出现该问题,是因为选择的目的端规格仅支持Linux镜像。 解决方法 重新选择支持Windows镜像的目的端规格。选择目的端规格后,可以在镜像下拉列表中,查看是否有符合的镜像类型。 父主题: 规格评估
列表迁移:通过列表文件过滤迁移,只迁移列表文件中的对象。 - 列表路径 迁移方式选择列表迁移时,填写列表文件所在路径。迁移方式选择全量迁移时,无需填写。 列表文件需要满足如下要求: 列表文件大小不能超过30 MB。 列表文件类型必须为.txt类型。