检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DescribeDisks List ecs:DescribeMetricData List 存储 NAS nas:DescribeFileSystems Read OSS ListBuckets oss:ListBuckets oss:DescribeMetricData List 数据库
内容校验结果存放路径为：obs://桶名/bigdata/task/任务实例ID/数据库名/表名/内容校验结果文件 如果指定的文件夹不存在，上传日志文件时系统将自动创建该文件夹。 日志桶参数配置完成后，单击“确认”按钮，设置日志桶完成。
元数据迁移与库的数量 在进行元数据迁移时，MgC会根据识别到的源端数据库的数量，在DLI中自动创建相应的库。如果是整库迁移，通常只会创建一个库；而表迁移可能需要创建多个库。通常，DLI的库数量上限为10。
评估推荐 通过采集源端主机、数据库、对象存储等资源信息和应用的关联关系进行评估分析，根据源端资源规格、性能和应用场景以及特定的成本、可用性、性能、安全合规等需求，为您推荐最合适的华为云对应资源规格，支持导出评估结果。
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 自定义参数说明
大数据数据迁移 数据迁移失败，提示超过DLI网管流控上限 部分表迁移失败，报错：CRC Check failed 部分表迁移失败，报错：no more field nodes for for field %s and vector %s
大数据迁移后数据校验 MaxCompute迁移至DLI数据校验 MRS ClickHouse迁移至MRS ClickHouse数据校验 阿里云EMR ClickHouse迁移至MRS ClickHouse数据校验 阿里云 ClickHouse迁移至MRS ClickHouse数据校验
然后将这些关键信息保存到数据库中，为后续分析和迁移提供支持。 准备工作 华为账号准备 使用MgC之前，您需要拥有一个华为账号或一个可用于访问MgC的IAM用户，注册华为账号以及创建IAM用户的方法请参考准备工作。
支持区域： 全部 应用关联分析 资源管理 支持多种类的资源采集，包括：云平台、主机、数据库、容器、大数据、中间件等。通过对采集到的信息进行调研评估，为用户上云提供配置推荐和方案设计。
大数据血缘 部署迁移工具Edge 采集元数据 血缘采集
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题： 大数据血缘
大数据校验 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表
数据采集架构 迁移中心（MgC）采集数据的方式主要包括以下两种： 利用Edge远程在线采集 通过调用API在线采集云平台资源 利用Edge远程在线采集 适用于公有云、私有云（如VMware、Hyper-V等虚拟化环境）以及数据中心（IDC）部署，或者以上部署方式的混合场景。迁移中心
大数据校验 大数据校验概述 准备工作 创建元数据连接 创建表组并添加数据表 创建连接 创建统计任务并执行校验 查看并导出校验结果
导出应用关联信息 在应用发现页面，单击应用框中的“导出”，可以导出接入层调用链、数据库依赖表、中间件依赖表、应用关联表，用于下线分析。 父主题： 资源发现与采集（复杂项目）
DeltaLake（无元数据）迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据，无法通过数据湖元数据同步方式进行数据采集
如何防止采集数据泄露？ MgC通过以下方式确保采集数据的安全： 数据加密传输：采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证：Edge上的凭证信息都会经过加密处理后保存在本地，不会通过网络传输到云端。 本地数据采集与存储：通过Edge线下采集的信息会被安全地保存在本地。
datasource.jar： 用途：包含数据源的配置和连接逻辑，允许服务连接到不同的数据库或数据存储系统。 获取方法：需要您根据需求自行获取并编译，方法请参考Spark Connector。
归档存储（冷存储）数据迁移 背景概述 冷存储是一种针对不频繁访问数据的长期备份解决方案，例如，平均一年访问一次的归档存储或平均几年访问一次的深度归档存储。这种存储方式具有高安全性、持久性和成本低等优势。 在迁移冷存储数据时，一个主要的考虑因素是数据访问的延迟。由于数据通常处于"冻结
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验，校验任务执行成功，查看校验结果，发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中，如果遇到极大值或极小值
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
