检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择HBase的版本。 在元数据采集区域，单击“创建任务 > 元数据同步”按钮，右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任
在元数据采集区域，单击“创建任务 > 元数据同步”按钮，右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题： 大数据血缘
MgC利用部署在源端网络中的Edge设备完成数据采集。 数据采集架构图，如图1所示。 图1 Edge远程在线采集架构图 通过调用API在线采集云平台资源 适用于公有云部署场景，针对不同云服务提供商（友商）的云资源进行数据采集。使用API接口与其它云服务提供商的系统进行交互，实现数据的在线采集。不需要在源端网络中安装Edge设备。
在元数据采集区域，单击“创建任务 > 元数据同步”按钮，右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任
大数据校验 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时，如何优化校验任务？
全量校验：全量对比所有数据，适用于需要对比历史数据的场景。 日级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。支持单日或连续多日增量数据的统计，是最常用的校验方式。 小时级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。在24小
大数据血缘 部署迁移工具Edge 采集元数据 血缘采集
大数据-Hive Metastore凭证文件获取方法 参考访问FusionInsight Manager登录Manager，进入系统页面。 在左侧导航栏，选择“权限>用户”，进入用户页面。 在用户列表，选择要在Edge添加凭证的用户，单击操作列“更多>下载认证凭据”，可以下载凭证文件中的krb5
在元数据采集区域，单击“创建任务 > 元数据同步”按钮，右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任务-4位随机数（字母和数字）”，也可以自定义名称。
单击列表上方的“添加资源”按钮，弹出添加主机窗口。 图1 添加主机 根据表1，填写相应参数后，单击“确认”，系统会自动检查凭证绑定状态和进行信息采集。 表1 添加主机参数说明 参数 说明 名称 用户自定义 采集设备 选择源端注册的Edge设备。 类型 主机实际系统类型 IP 填写主机IP。
归档存储（冷存储）数据迁移 背景概述 冷存储是一种针对不频繁访问数据的长期备份解决方案，例如，平均一年访问一次的归档存储或平均几年访问一次的深度归档存储。这种存储方式具有高安全性、持久性和成本低等优势。 在迁移冷存储数据时，一个主要的考虑因素是数据访问的延迟。由于数据通常处于"冻结"
在元数据采集区域，单击“创建任务 > 元数据同步”按钮，右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任务-4位随机数（字母和数字）”，也可以自定义名称。
在元数据采集区域，单击“创建任务 > 元数据同步”按钮，右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任
钮。支持添加多个步骤。 迁移阶段中的步骤添加完成后，单击“确认”按钮，完成迁移阶段的添加。 只有自行添加的阶段，可以进行修改、删除操作，模板中的迁移阶段无法进行修改和删除。 添加步骤 在迁移工作流详情页面，将鼠标移动到步骤名称上，选择添加前置步骤/添加后置步骤，弹出添加步骤窗口。
为避免数据重复，除了步骤1.创建的第一个元数据连接以外，新增的元数据连接不需要创建同步任务进行元数据采集。 参考创建表组并添加数据表，将源端数据表加入表组中。其中元数据连接选择步骤1.创建的第一个元数据连接。 分别创建源端执行机连接和目的端执行机连接，方法请参考创建执行机连接。
在弹出的配置华为云凭证窗口，输入目的端华为云账号的AK/SK，单击“确认”，完成添加。 修改华为云凭证 如果您需要替换保存的华为云凭证，可以将其删除后，重新添加。 单击已保存凭证后面的“删除”按钮，确认删除后，单击“确定”按钮，删除凭证。 参考添加华为云凭证，重新添加新的华为云凭证。 父主题： 上云操作
如何防止采集数据泄露？ MgC通过以下方式确保采集数据的安全： 数据加密传输：采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证：Edge上的凭证信息都会经过加密处理后保存在本地，不会通过网络传输到云端。 本地数据采集与存储：通过Edge线下采集的信息会被安全地保存在本地
在元数据采集区域，单击“创建任务 > 元数据同步”按钮，右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任
在元数据采集区域，单击“创建任务 > 元数据同步”按钮，右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
