检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据库,最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.~e.在模板中添加不需要迁移的表信息,然后上传至MgC。 按表筛选 下载CSV格式的模板。 下载后用记事本打开该CSV模板文件。 注意: 请不要使用Excel对CSV模
frequency 主频 用于迁移前评估 isOpenOverclock 是否超频 用于迁移前评估 virtioDriver 是否有virtio驱动 用于迁移前评估 filterIds 主机ID过滤集合 用于迁移前评估 instanceId 平台采集,云服务器资源ID 用于迁移前评估 platformName
创建目的端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”
采集器参数配置说明 K8S静态采集器(app-discovery-k8s) K8S conntrack采集器(app-discovery-k8s-conntrack) K8S pod网络采集器(app-discovery-k8s-pod-net) 进程与网络采集器(app-dis
后的数据。 图1 导出执行结果 单击“导出管理”按钮,右侧弹出导出管理窗口。 当导出进度为导出成功后,单击操作列的“下载”,可以将导出结果下载到本地。 图2 下载导出结果 父主题: 大数据数据迁移
后的数据。 图1 导出执行结果 单击“导出管理”按钮,右侧弹出导出管理窗口。 当导出进度为导出成功后,单击操作列的“下载”,可以将导出结果下载到本地。 图2 下载导出结果 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
MRS Hive/CDH/EMR迁移至MRS Hive数据校验 本文主要介绍MRS Hive版本间数据迁移以及将自建CDH/EMR环境上的数据迁移至华为云MRS Hive之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC
创建源端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建源端连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据)
接完成。 选择元数据管理,单击“库表清单”,进入库表清单页签。 单击“导入数据表”按钮,弹出导入数据表窗口。 单击“xlsx模板下载”,将导入模板下载到本地。打开模板填写对应信息后保存。 单击导入数据表窗口中的“添加文件”按钮,选择填写后的模板文件进行上传,然后单击“确认”按钮,
创建目的端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。
AllSigned:只能运行由可信发布者签名的脚本。 RemoteSigned:允许运行本地创建的脚本,但远程下载的脚本必须经过签名。 Unrestricted:允许运行所有脚本,但会在运行从互联网下载的脚本时发出警告。 Bypass:不阻止任何脚本的执行,不会显示任何警告或提示。 如果执行策略
创建源端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建源端连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据)
创建元数据连接 创建元数据来源类型的连接,获取源端大数据库表清单。 目前支持的连接类型,参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake(有元数据) Delta Lake(无元数据)
方法二(适用于Windows操作系统) 使用Notepad++工具转换CSV文件编码为UTF-8。确保您已经安装了Notepad++工具。如果尚未安装,请从官方网站下载并安装。 打开Notepad++,将csv文件拖进Notepad++窗口中,使用快捷键“Ctrl + A”全选所有内容。 在Notepad
页面左上角的当前项目下拉列表中选择迁移项目。 单击任务框中的“导入>应用关联模板”,弹出导入应用关联模板窗口,单击“下载模板”,将导入模板下载到本地。 图1 下载应用关联模板 打开导入模板,填写模板内的参数,其中标黄的参数为必填。模板参数填写完成并保存后,单击导入窗口的“添加文件”,将填写后的模板文件上传至迁移中心。
图9 配置基本信息 勾选步骤一创建的用户组,单击“创建用户”。 图10 选择用户组 创建用户成功,弹出的下载访问密钥窗口,单击“确定”,将AK/SK下载到本地。 图11 下载访问密钥
源采集页面。 在手工导入页签,单击“手工导入”,弹出手工导入窗口。 图1 手工导入 选择“应用关联文件导入”,单击“下载模板”,将导入模板下载到本地。 图2 下载应用关联模板 打开导入模板,填写模板内的参数,其中标黄的参数为必填。模板参数填写完成并保存后,单击导入窗口的“添加文件”,将填写后的模板文件上传至迁移中心。
选择需要导出的批次、表组名以及类型,单击“确认”按钮,系统开始导出校验结果。 导出完成后,单击“导出管理”按钮,右侧弹出导出管理窗口。 单击操作列的“下载”,可以将对应表的校验结果下载到本地。 导出数据分析报告 在校验结果页面,单击“导出 > 导出数据分析 ”按钮,弹出导出数据分析报告窗口。 图1 导出数据分析报告
在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的迁移工具Edge。大数据校验场景仅支持Linux版本的Edge,安装方法请参考下载并安装Linux版本Edge。安装成功后,将Edge与迁移中心进行连接,连接方法请参考连接迁移中心。 迁移工具Edge不具备自动重启功能,
工作流创建:创建并配置迁移工作流并启动迁移。 使用须知 在创建主机迁移工作流前,请仔细阅读并了解以下使用须知内容。 项目 须知 源端下载带宽 用于源端服务器下载SMS-Agent。 推荐带宽:每台机器不低于30 Mbit/s。 共用带宽建议:若多台机器共用,平均不低于50 Mbit/s。