检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎，如Hive、Hbase、Doris和MaxCompute等，提供了一致性校验方法。通过一致性校验，您可以更加放心地进行大数据迁移操作，确保数据的准确性和可靠性，从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验：全量对比所有数据，适用于需要对比历史数据的场景。
创建源端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括： MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数
创建源端连接 创建源端连接是为了允许迁移工具Edge访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。
创建目的端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括： 数据湖探索（DLI） CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
Edge远程在线采集架构图 通过调用API在线采集云平台资源 适用于公有云部署场景，针对不同云服务提供商（友商）的云资源进行数据采集。使用API接口与其它云服务提供商的系统进行交互，实现数据的在线采集。不需要在源端网络中安装Edge设备。 数据采集架构图，如图2所示。 图2 调用API在线采集云平台资源架构图
创建集群 通过集群，您可以创建和管理迁移节点、列举节点，部署和升级迁移插件，并确保存储工作流顺利运行。 创建集群将产生相关服务费用，具体费用请参见计费说明。 创建的集群节点暂不支持直接登录，如有需要请联系技术支持人员。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“部署>
在左侧导航栏的“配置管理 > 项目管理”页签可以查看和管理已创建的项目。 创建项目完成后，参考连接迁移中心，将Edge工具与云端MgC控制台建立连接。 连接成功后，需要在Edge上分别添加源端“大数据-MaxCompute”凭证和目的端“大数据-数据湖搜索（DLI）”凭证，认证方式
概述 背景介绍 当您迁移Linux主机时，需要确保源端主机能够识别并解析相关云服务的接口域名。这通常涉及到在每台源端主机上编辑hosts文件。如果迁移的主机数量众多，手动编辑将非常耗时。为了简化这一过程，我们提供了一个批量修改的脚本示例。您可以利用这个脚本，快速地将域名解析IP批
创建迁移项目 在MgC控制台为本次迁移创建独立的项目，方法请参见项目管理。 创建弹性文件系统 在目的端创建相应的弹性文件系统，用于迁移后的数据存储和管理，方法请参见创建弹性文件系统。 父主题： SFS1.0迁移至SFS 3.0
单击操作列的“技术架构图”，可以查看该微服务所属层级以及与资源之间的关联关系。单击微服务/资源节点，可以查看节点详细信息。 单击操作列的“更多>服务依赖图”，可以查看该微服务与依赖服务、被依赖服务之间的关联关系。单击微服务节点，可以查看微服务的详细信息和依赖服务、被依赖服务列表。 单击操作列的“更多>删除”，可以删除该微服务。
建议在源端内网环境中准备一台用于安装Edge的Linux主机，并确保该Linux主机满足以下要求： 可以连接外网，并检查是否能够访问MgC和IoTDA服务的域名，具体需要检查的域名请查看公网域名。 安全组的出方向规则中，需要包含8883端口。 操作系统为：CentOS 8.x 推荐规格
、在线采集、应用关联分析、在线评估、资源分组、迁移编排)，通过基于服务开发服务，基于服务运维服务的方式进行设计。 Edge：部署在客户的网络中，用来保存凭证等敏感资源和操作租户本地部署的资源。可以接收MgC的命令和上报命令执行结果。 图1 MgC逻辑架构图
Hudi（无元数据） 大数据云服务 MaxCompute 阿里云云数据库ClickHouse 在创建Hive Metastore连接前，需要先获取连接Hive Metastore的IP地址和端口号。 在创建MaxCompute连接前，需要先获取MaxCompute服务所在地域的Endpoint信息。
已在Edge上添加源端主机凭证。为确保采集过程具备充分的系统访问权限，主机凭证要求如下： Linux主机，请添加Root账号和密码做为采集凭证。 Windows主机，请添加Administrator账号和密码做为采集凭证。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用发现”，进入应用
采集器管理 Edge安装包中带有部分采集器安装包，在安装Edge时，这些采集器也会一并安装。本节为您介绍升级采集器和添加新采集器的方法。 使用场景 离线升级：用于更新已安装的采集器。 手动升级：用于新增采集器或修改采集器配置文件后的更新。 前提条件 已下载并安装Edge，并完成用户注册。
password 否 开启用户认证时，填写Eureka服务器访问密码，多个密码之间用逗号分隔（按照endpoint的顺序对应输入），若某个服务器无密码，用空格代替。例如：password1, ,password2 endpoint 是 填写Eureka服务器地址，如果是集群，地址之间用逗号分隔。例如
> 项目管理”页签可以查看和管理已创建的项目。 创建项目完成后，参考连接迁移中心，将Edge工具与云端MgC控制台建立连接。 连接成功后，需要在Edge上分别添加源端“大数据-MaxCompute”凭证、目的端“大数据-Hive Metastore”凭证和目的端“MRS执行机”凭证
HBase版本间数据迁移后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户，方法请参见安装Linux版本的Edge工具。 需要将源端和目的端所有节点的主机名和IP地址映射添加到安装Edge主机的/etc/hosts文件中，配置连接才能连接成功。
Lake（无元数据） Hudi（有元数据） Hudi（无元数据） 需要确保源端和目的端执行机都安装了大数据组件的命令行客户端。 源端和目的端执行机均需要创建连接。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。
协议端口号为TCP：22和ICMP：全部的源地址是否配置为安装Edge主机的公网IP。确认安全组规则配置无误后，重新进行深度采集。 源端为Windows主机 登录源端主机，开启WinRM服务，方法请参考WinRM服务配置与故障排查。开启WinRM服务后重新进行深度采集。如果仍然失败，请执行步骤2
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
