检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题： 大数据血缘
数据采集架构 迁移中心（MgC）采集数据的方式主要包括以下两种： 利用Edge远程在线采集 通过调用API在线采集云平台资源 利用Edge远程在线采集 适用于公有云、私有云（如VMware、Hyper-V等虚拟化环境）以及数据中心（IDC）部署，或者以上部署方式的混合场景。迁移中心
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明
然后将这些关键信息保存到数据库中，为后续分析和迁移提供支持。 准备工作 华为账号准备 使用MgC之前，您需要拥有一个华为账号或一个可用于访问MgC的IAM用户，注册华为账号以及创建IAM用户的方法请参考准备工作。
在基础信息区域，单击集群名称后的“管理”，右侧弹出集群详细信息页面。在这个页面上，您可以进行如下操作： 设置流量控制规则：您可以添加、编辑或删除流量控制规则，以确保集群内的流量按照您的需求进行管理。
支持区域： 全部 创建分析任务 资源发现与采集 支持多种类的资源采集，包括：云平台、主机、数据库、容器、大数据、中间件等。通过对采集到的信息进行调研评估，为用户上云提供配置推荐和方案设计。
创建表组 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在功能入口区域，单击“表管理”，进入表管理页面的表组页签。 单击“新增表组”，弹出新增表组窗口。 根据表1，配置参数。
datasource.jar： 用途：包含数据源的配置和连接逻辑，允许服务连接到不同的数据库或数据存储系统。 获取方法：需要您根据需求自行获取并编译，方法请参考Spark Connector。
输入“diskmgmt.msc”，按“Enter”，进入磁盘管理页面。 在磁盘管理页面，可以看到数据盘处于“脱机”状态。 图1 脱机 使用鼠标右键单击“脱机”的数据盘，会出现联机的菜单，单击联机即可恢复正常。 图2 联机 方法二： 登录目的端主机，鼠标右键单击开始菜单。
如何防止采集数据泄露？ MgC通过以下方式确保采集数据的安全： 数据加密传输：采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证：Edge上的凭证信息都会经过加密处理后保存在本地，不会通过网络传输到云端。 本地数据采集与存储：通过Edge线下采集的信息会被安全地保存在本地。
父主题： 应用管理
OfflineCollectionAgencyPolicy obs:object:GetObject（获取对象内容、获取对象元数据） obs:bucket:ListBucket（列举桶内对象） obs:bucket:ListAllMyBuckets（获取桶列表） 父主题： 权限管理
添加完成后，在凭证管理列表可以看到添加的凭证。 父主题： 配置管理
在基础信息区域，单击集群名称后的“管理”，右侧弹出集群详细信息页面。在这个页面上，您可以进行如下操作： 设置流量控制规则：您可以添加、编辑或删除流量控制规则，以确保集群内的流量按照您的需求进行管理。
单击页面右上角的“连接管理”按钮，进入连接管理页面。 首次使用大数据数据迁移功能时，需要先启用迁移工具Edge。单击页面左上角的“修改”或单击“选择迁移工具”按钮，弹出选择迁移工具窗口。在下拉列表中，选择在完成准备工作时与迁移中心连接成功的Edge。
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验，校验任务执行成功，查看校验结果，发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中，如果遇到极大值或极小值
创建迁移项目 在MgC控制台为本次迁移创建独立的项目，方法请参考项目管理。 创建目的端OBS桶 在华为云创建一个用于存放URL列表文件和接收源端数据的OBS标准存储桶，区域选择您希望迁移到的目的端区域。创建方法请参考创建桶。
创建项目 通过创建独立的项目，可以将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前，需要先在源端环境中安装用于配合大数据校验的迁移工具Edge。
创建迁移项目 在MgC控制台为本次迁移创建独立的项目，方法请参考项目管理。 创建目的端OBS桶 在华为云创建一个用于存放URL列表文件和接收源端数据的OBS标准存储桶，区域选择您希望迁移到的目的端区域。创建方法请参考创建桶。
大数据-Hive Metastore凭证文件获取方法 参考访问FusionInsight Manager登录Manager，进入系统页面。 在左侧导航栏，选择“权限>用户”，进入用户页面。 在用户列表，选择要在Edge添加凭证的用户，单击操作列“更多>下载认证凭据”，可以下载凭证文件中的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
