检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提供了一致性校验方法。通过一致性校验,您可以更加放心地进行大数据迁移操作,确保数据的准确性和可靠性,从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验:
MySQL凭证:选择访问MySQL数据库的认证信息。认证信息需要添加到MgC Agent然后同步到MgC,方法请参考添加资源凭证。 MySQL节点IP:输入MySQL数据库服务器的IP地址。 MySQL服务端口:输入MySQL数据库服务的端口号。 数据库名:输入存储Hive表元数据的数据库名称。 说明:
MySQL凭证:选择访问MySQL数据库的认证信息。认证信息需要添加到Edge然后同步到MgC,方法请参考添加资源凭证。 MySQL节点IP:输入MySQL数据库服务器的IP地址。 MySQL服务端口:输入MySQL数据库服务的端口号。 数据库名:输入存储Hive表元数据的数据库名称。 说明: 请
请前往迁移方案设计的目的端配置表页面或迁移方案配置的目的端配置页面,手动更改目的端规格或者绑定已有目的端,完成后回到工作流界面重试。 Ecs.0707 该规格的主机不存在或已下线。 请前往迁移方案设计的目的端配置表页面或迁移方案配置的目的端配置页面,手动更改目的端规格或者绑定已有目的端,完成后回到工作流界面重试。
为什么不能手动选择主机规格和磁盘类型? 主机评估失败,没有匹配合适的规格,如何处理? 评估镜像失败,该规格不支持Windows镜像,如何处理? 支持规格评估的数据库类型 主机评估策略推荐逻辑说明
(字母和数字)”,也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库(可选) 填写需要进行元数据同步的数据库名称,如果有多个数据库,库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可
查看应用关联分析结果 迁移中心会整理源端资源和应用间的关联关系,并且绘制技术架构图和应用依赖图,为后续迁移计划的制定和目的端架构设计提供帮助。 前提条件 已导入应用关联文件或导入工具采集结果。 查看技术架构图 在应用管理页面,单击应用列表中的“技术架构图”,可以查看所有服务、微服务、资源的矩阵图。
请确保添加的目的端凭证最少拥有日志桶的如下操作权限: obs:object:PutObject:PUT上传、POST上传、复制对象、追加写对象、初始化上传段任务、上传段、合并段 obs:bucket:ListAllMyBuckets:获取桶列表 obs:bucket:ListBucket:列举桶内对象 更多权限介绍请参见权限管理。
证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 私有云 用户名/密码 输入源端私有云的登录用户名、密码。 数据库 用户名/密码 输入数据库的登录用户名、密码。 大数据-执行机 用户名/密码 输入大数据所部署主机的登录用户名、密码;网段限制填写网段地址,可以是单个IP地址或IP地址段。
(字母和数字)”,也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库(可选) 填写需要进行元数据同步的数据库名称,如果有多个数据库,库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可
查看应用列表 在应用管理页面的应用列表,可以查看项目下的所有应用。通过应用列表可以查看应用名称、应用类型、所属业务领域、包含微服务数量以及依赖应用和被依赖应用数量等信息。 单击包含微服务列的数量,可以查看该应用所包含的微服务列表。 单击依赖应用列的数量,可以查看该应用所依赖的服务列表。
参数框。 获取租户ID、客户端(应用)ID和密钥 登录Azure控制台,进入主页。 在搜索框中输入“应用注册”,选择“应用注册”服务,进入应用注册页面。 选择所有应用程序页签,单击应用程序名称,进入该应用的概述页面。在概要区域可以获取客户端(应用)ID和租户ID。 在左侧导航树选
ReadOnlyAccess 存储 OBS obs:ListBuckets obs:GetBucketPolicy obs:GetBucketAcl obs:GetBucketLifecycle obs:GetBucketMetadata obs:GetBucketVersioning obs:GetBucketStorageInfo
ST 迁移完成后,一致性校验时读取目的端端对象元数据失败,一般是由于目的端流控导致。 重试工作流/任务,如果仍然失败排查下目的端指定对象的元数据情况。 FILE_SIZE_OVER_MAX_SIZE 分片超过最大值 10000。 每个分片最大支持1GB,单个对象超过1TB无法进行迁移。
RL不同但对象名称相同的情况,会如何处理? OBS迁移到NAS,如果源端存在同名但大小写不同的对象,会如何处理? 关于OBS、NAS和SMB存储系统之间进行异构迁移的对象长度限制说明 如何解决迁移集群创建失败问题 如何获取微软云的访问凭证 存储工作流执行失败,列表提示“COMPA
资源采集 在线调研 内网采集 导入RVTools资源 导入阿里云资源清单 导入应用关联文件 导入工具采集结果 手动添加资源 采集主机性能 关联应用 父主题: 新版
应用场景 应用现状调研 提供丰富的调研能力,支持其他云厂商或者自建IDC中的应用现状调研,并且绘制对应架构图和依赖图,为后续迁移计划的制定提供帮助。 主机批量迁移 提供高灵活、可定制的迁移工作流,根据采集的源端主机性能数据,推荐最合适的华为云主机规格,帮助用户一站式大批量发起迁移任务。
资源采集 复杂项目 简单项目 手动添加资源 采集主机性能 关联应用 父主题: 旧版
方法请参考导入数据表并加入表组。 分别创建源端执行机连接和目的端执行机连接,方法请参考创建执行机连接。执行机凭证分别选择步骤4.在MgC Agent侧添加的源端和目的端执行机凭证。 在MgC控制台,分别创建源端和目的端Delta统计任务并执行,方法请参考创建统计任务并执行校验。需要注意任务配置中的表组,选择步骤16
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题: 大数据校验