检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以更加放心地进行大数据迁移操作，确保数据的准确性和可靠性，从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验：全量对比所有数据，适用于需要对比历史数据的场景。 日级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。支持单日或连续多日增量数据的统计，是最常用的校验方式。
R环境上的数据迁移至华为云MRS Hive之后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户，方法请参见安装Linux版本的Edge工具。 操作步骤 登录迁移中心管理控制台。在总览页面，单击“创建迁移项目”。
手动添加 适用于采集本地主机和暂不支持公网、内网采集的云平台主机。 前提条件 已在源端内网环境安装Edge工具，并与迁移中心连接。 已在Edge上添加源端主机凭证。为确保采集过程具备充分的系统访问权限，主机凭证要求如下： Linux主机，请添加Root账号和密码作为采集凭证。 W
数据采集架构图，如图1所示。 图1 Edge远程在线采集架构图 通过调用API在线采集云平台资源 适用于公有云部署场景，针对不同云服务提供商（友商）的云资源进行数据采集。使用API接口与其它云服务提供商的系统进行交互，实现数据的在线采集。不需要在源端网络中安装Edge设备。 数据采集架构图，如图2所示。
（DLI）”，单击“下一步”，进入详细配置页面。 根据DLI服务参数配置说明，配置连接参数后，单击“测试连接”按钮，测试通过代表连接成功。 表1 DLI服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“DLI-4位随机数（字母和数字）”，也可以自定义名称。 DLI凭证
ReadOnlyAccess 存储 OBS obs:ListBuckets obs:GetBucketPolicy obs:GetBucketAcl obs:GetBucketLifecycle obs:GetBucketMetadata obs:GetBucketVersioning obs:GetBucketStorageInfo
表路径映射（可选） 用于确保在元数据迁移过程中，MaxCompute外表的元数据能够正确地迁移到目的端指定的存储位置，即在OSS中的源路径自动映射为目的端指定的OBS路径。 映射到目的端OBS的路径需要提前创建，并且除桶名以外，其余目录需要与源端OSS目录保存一致。 例如，源
公网采集 适用于采集云平台主机。目前支持的源端云平台为：阿里云、华为云、AWS、腾讯云、Azure。 本节介绍简单项目的公网采集步骤，复杂项目的公网采集步骤请参见创建公网采集任务。 通过公网采集的主机，需要迁移预检查通过或深度采集成功后，才可以创建迁移工作流。 前提条件 已在源端
使用MgC之前，您需要拥有一个华为账号或一个可用于访问MgC的IAM用户，并获取账号/IAM用户的访问密钥（AK/SK）。获取方法请参考准备工作。 创建迁移项目 在MgC控制台为本次迁移创建独立的项目，方法请参见项目管理。 创建弹性文件系统 在目的端创建相应的弹性文件系统，用于迁移后的数据存储和管理，方法请参见创建弹性文件系统。
适用于添加华为云、阿里云、AWS、腾讯云、七牛云和金山云等云平台凭证。 配置文件 适用于添加谷歌云平台凭证。配置文件需要上传谷歌云服务账号凭据，该凭证必须为json格式文件，且大小不能超过4KB。 ID/密钥 适用于添加Azure平台凭证。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。
的AK/SK。 数据湖DLI凭证输入目的端华为云账号的AK/SK。 创建OBS桶并上传jar包 在华为云OBS创建一个存储桶，并将数据迁移过程中所依赖的 Java 文件（jar包）上传至该OBS桶。创建OBS桶的方法请参考创建桶。上传文件的方法请参考上传对象。 数据迁移所依赖的j
使用该功能前，请联系技术支持人员，将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶，该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。 操作步骤 登录迁移中心控制台。 在左侧导航栏
影响大对象迁移速度的关键因素有哪些？ 在迁移大对象的过程中，迁移集群的以下几个关键因素可能会影响迁移速度： 网络带宽限制：网络带宽不足，可能成为迁移速度的主要制约因素。 建议：升级带宽或选择低峰时段进行迁移。 迁移集群规格：如果迁移集群的规格小于推荐规格（8U16G）可能会因处理能力不足，成为迁移速度的制约因素。
功。 表1 MaxCompute连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“MaxCompute-4位随机数（字母和数字）”，也可以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 阿里云凭证 选择完成准备工作时，在E
ecs:cloudServerFlavors:get（查询云服务器规格详情和扩展信息列表） 对象存储批量迁移模板-配置目的端 MgC ListObsBucketsAgencyPolicy obs:bucket:ListBucket（列举桶内对象） obs:bucket:ListAllMyBuckets（获取桶列表）
K8S静态采集器（app-discovery-k8s） 用于采集k8s集群中的ingress，service，configMap等信息。参数配置说明参见表1。 表1 k8s静态采集器参数配置说明 参数 必填 配置说明 output_path 否 自定义采集结果（app-discovery-k8s-xxx
Nacos采集器（app-discovery-nacos） 用于采集Nacos服务的服务管理和配置管理，采集源端业务架构，实现动态服务发现，解析业务与服务间的关系。参数配置说明参见表1。 表1 Nacos采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义
选择保存路径，将资源导出到本地。 步骤二：将导出的文件上传至OBS 登录华为云OBS控制台，创建一个用于存储RVTools导出资源文件的标准存储桶。方法请参考创建桶。 参考上传对象，将导出的RVTools资源文件上传至OBS标准存储桶。 步骤三：导入RVTools资源 登录迁移中心管理控制台。
选择保存路径，将资源导出到本地。 步骤二：将导出的文件上传至OBS 登录华为云OBS控制台，创建一个用于存储RVTools导出资源文件的标准存储桶。方法请参考创建桶。 参考上传对象，将导出的RVTools资源文件上传至OBS标准存储桶。 步骤三：导入RVTools资源 登录迁移中心管理控制台。
导入目的端配置”，弹出导入目的端配置窗口。 单击窗口中的“前往OBS存放文件”，跳转到对象存储服务 OBS的桶列表页面。 选择要存放目的端配置文件（Excel文件）的桶，将Excel文件上传到该桶中。 上传成功后，返回MgC控制台，在导入目的端配置窗口的下拉列表中，选择存放在OBS桶中的目的端配置文件。 单击“确认”导入目的端配置文件。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
