检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提供了一致性校验方法。通过一致性校验,您可以更加放心地进行大数据迁移操作,确保数据的准确性和可靠性,从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验:全量对比所有数据,适用于需要对比历史数据的场景。
目下拉列表中选择迁移项目。 单击左侧导航栏的“源端发现>应用管理”,进入应用管理页面。 在应用列表,单击应用名称,进入应用详情页面。 在主机资源列表,单击列表上方的“添加资源”按钮,弹出添加主机窗口。 根据表1,填写相应参数后,单击“确认”,系统会自动检查凭证绑定状态和进行信息采集。
步骤三:评估迁移准备度 该操作主要用于校验源端待迁移主机的基本配置、网络环境和迁移分组。 前提条件 已完成阿里云ECS主机资源采集。 已在MgC Agent添加源端主机凭证。 操作步骤 在资源采集页面,单击主机资源类型,进入主机资源列表。 在列表上方选择“目标场景>主机迁移”,此时源端迁移准备度列会出现“配置”按钮,状态为“未就绪”。
的当前项目下拉列表中选择迁移项目。 在应用列表,单击应用名称,进入应用详情页面。 在资源列表的主机页签,单击列表上方的“添加资源”按钮,弹出添加主机窗口。 图1 添加主机资源 根据表1,填写相应参数后,单击“确认”,系统会自动检查凭证绑定状态和进行信息采集。 表1 添加主机参数说明
开启云平台采集,在资源类型下拉列表中勾选主机。 (可选)将采集的主机资源关联到应用。 已提前创建应用,在“应用”的下拉列表中选择要关联的应用。 未提前创建应用,单击“新建应用”,弹出新建应用窗口,输入自定义的应用名称和描述;业务场景选择“跨可用区迁移”;使用场景根据实际情况选择;选择目的端所在区域和可用区,单击“确定”按钮,应用创建成功。
在功能入口区域,单击“表管理”,进入表管理页面的表组页签。 单击“新增表组”,弹出新增表组窗口。根据新增表组参数说明,配置参数后,单击“确认”按钮,创建表组。 表3 新增表组参数说明 参数 说明 表组名 用户自定义 元数据连接 选择步骤8.创建的元数据连接。 注意: 表组中的所有表必须来源于同一个元数据来源。
单击新增表组弹窗中的“查看更多”进行查看。 说明(可选) 您可以输入用于区分表组的说明。 在表管理页面,选择库表清单页签,勾选要加入同一表组的数据表,单击列表上方的“表组管理 > 批量加入组”,在弹出的修改表组窗口中,选择要加入的表组,单击“确认”。 如果需要新增数据表,可以通过
在功能入口区域,单击“表管理”,进入表管理页面的表组页签。 单击“新增表组”,弹出新增表组窗口。根据新增表组参数说明,配置参数后,单击“确认”按钮,创建表组。 表2 新增表组参数说明 参数 说明 表组名 用户自定义 元数据连接 选择步骤8.创建的元数据连接。 注意: 表组中的所有表必须来源于同一个元数据来源。
在功能入口区域,单击“表管理”,进入表管理页面的表组页签。 单击“新增表组”,弹出新增表组窗口。根据新增表组参数说明,配置参数后,单击“确认”按钮,创建表组。 表3 新增表组参数说明 参数 说明 表组名 用户自定义 元数据连接 选择步骤8.创建的元数据连接。 注意: 表组中的所有表必须来源于同一个元数据来源。
在功能入口区域,单击“表管理”,进入表管理页面的表组页签。 单击“新增表组”,弹出新增表组窗口。根据新增表组参数说明,配置参数后,单击“确认”按钮,创建表组。 表3 新增表组参数说明 参数 说明 表组名 用户自定义 元数据连接 选择步骤8.创建的元数据连接。 注意: 表组中的所有表必须来源于同一个元数据来源。
研”页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击存储迁移成本调研框,进入存储迁移成本调研参数配置页面。 在源端详情区域,根据实际情况,选择源端平台和源端类型,并输入源端文件个数、总文件大小。 在目的端详情区域,选择目的端区域和目的端类型。 在高级特性选择网络模式、偏好设置,并输入期望迁移时间。
MgC提供了存储迁移成本评估功能,通过输入源端文件数量和大小、设定期望迁移时长等参数,系统会自动计算迁移所需的集群规格、网络带宽和迁移成本,并给出不同的迁移方案,用户可以根据项目需求和预算选择合适的迁移策略。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择迁移项目。 单击左侧导航栏
主机列表”,进入主机列表页面。 单击列表上方的“发现主机”按钮,弹出发现主机窗口。 图1 发现主机 发现方式选择VMware采集,在连接地址填写vCenter的IP地址。 图2 VMware采集 凭证方式选择“创建凭证”,在用户名和密码分别填写vCenter的登录用户名和密码。 参数配置完成后,单击“确认”,MgC
全部数据。 列表迁移:通过列表文件过滤迁移,只迁移列表文件中的对象。 - 列表路径 迁移方式选择列表迁移时,填写列表文件所在路径。迁移方式选择全量迁移时,无需填写。 列表文件需要满足如下要求: 列表文件大小不能超过30 MB。 列表文件类型必须为.txt类型。 列表文件必须是UTF-8无BOM格式编码格式。
配置路由 登录虚拟私有云管理控制台。 在左侧导航栏,选择“虚拟私有云 > 路由表”,进入路由表列表页面。 在路由表列表中,找到创建跨源连接时对应的路由表(即ECS所在VPC的路由表),单击路由表名称,进入路由表详情页面。 单击“添加路由”,弹出添加路由窗口。 按照提示配置参数。需要添
数据站点类型为微软云BLOB时配置。 列表路径 输入存放列表文件的路径。列表文件存放地址必须与目的端桶处于同一区域。 将源端待迁移的文件URL和对象名称写入列表文件(每行只能写一个URL和对象名称),列表文件需要提前创建。 列表文件约束与限制: 列表文件类型必须为.txt,其他文件类型
选择要发现的源端云平台区域,支持多选。 是 资源类型 在下拉列表勾选主机资源。 是 应用 选择采集到的资源要加入的应用,通过应用可以将资源进行分组管理。如果下拉列表中无应用,按如下步骤创建: 单击“新建应用”,输入自定义的应用名称和描述;选择业务场景和使用场景;目的端区域选择目的端所在区域。 单击“确定”按钮,完成创建。
配置路由 登录虚拟私有云管理控制台。 在左侧导航栏,选择“虚拟私有云 > 路由表”,进入路由表列表页面。 在路由表列表中,找到创建跨源连接时对应的路由表(即ECS所在VPC的路由表),单击路由表名称,进入路由表详情页面。 单击“添加路由”,弹出添加路由窗口。 按照提示配置参数。需要添
全部数据。 列表迁移:通过列表文件过滤迁移,只迁移列表文件中的对象。 - 列表路径 迁移方式选择列表迁移时,填写列表文件所在路径。迁移方式选择全量迁移时,无需填写。 列表文件需要满足如下要求: 列表文件大小不能超过30 MB。 列表文件类型必须为.txt类型。 列表文件必须是UTF-8无BOM格式编码格式。
制台,在左侧导航栏选择“通用文件系统 > 文件系统列表”进入文件系统列表页面。 单击文件系统名称,进入该文件系统详情页面。在左侧导航栏选择“权限管理”,单击“添加授权”按钮。 根据表1,配置授权参数,单击“确定”添加完成。 表1 参数配置说明 参数 配置说明 VPC 选择创建集群时所选择的VPC。