检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置OBS桶 设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶（以下称为日志桶），实现对日志和内容校验结果的有效管理和分析。设置了日志桶后，会默认使用大数据校验中的日志上传功能，将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限：
创建用户并授权使用MgC 如果您需要对您所拥有的MgC进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以： 根据企业的业务组织，在您的华为云账号中，给企业中不同职能部门的员工创建IAM用户
Hudi（无元数据） 需要确保源端和目的端执行机都安装了大数据组件的命令行客户端。 源端和目的端执行机均需要创建连接。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在功能入口区域，单击“连接管理”，进入连接管理页面。
创建对象存储批量迁移工作流 本节介绍如何使用对象存储批量迁移模板，批量创建对象存储数据迁移任务，实现对象存储数据的高效迁移。 约束与限制 关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些？ 风险提示 在创建工作流时，对于源端和目的端的同名对象，我们提供了三种覆盖策略：不覆
com，则输入test。 表3 目的端信息参数说明 参数 说明 备注 数据站点类型 根据源端存储类型，选择华为云对应的存储类型。 - AK 输入目的端华为云账号的访问密钥。 数据站点类型选择华为云OBS时填写。 SK 输入目的端华为云账号的私有密钥。 桶 选择目的端OBS桶。 对象存储终端地址 输
步骤二：上传URL列表文件至OBS桶 登录OBS管理控制台，在左侧导航栏选择“桶列表”。 在桶列表中，单击创建的目的端OBS桶，进入“对象”页面。 单击“新建文件夹”，在“文件夹名称”中输入自定义名称（例如：minioUrl），单击“确定”。 单击上一步创建的文件夹名称，进入该文件夹，单击“上传对象”，系统弹出“上传对象”对话框。
步骤二：上传URL列表文件至OBS桶 登录OBS管理控制台，在左侧导航栏选择“桶列表”。 在桶列表中，单击创建的目的端OBS桶，进入“对象”页面。 单击“新建文件夹”，在“文件夹名称”中输入自定义名称（例如：cephUrl），单击“确定”。 单击上一步创建的文件夹名称，进入该文件夹，单击“上传对象”，系统弹出“上传对象”对话框。
通过列表文件过滤迁移，只迁移列表文件中的对象。 在“列表路径”输入存放在目的端桶的对象列表文件路径。对象列表文件的约束与限制如下： 对象列表文件大小不能超过30 MB。 对象列表文件类型必须为.txt类型。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件每行只能包含一个对象名称，且对象名称使用URL
添加方法请参考添加资源凭证。 确保源端账号和目的端账号拥有迁移需要的权限，详细介绍请参见如何获取源端桶和目的端桶权限？。 在华为云创建用于接收源端对象存储数据的OBS桶（即目的端桶），创建方法请参考创建桶。如果您已有目的端桶，则无需重新创建。 为每个待迁移的源端桶，创建一个对应的前缀列表文件（即一
启用：记录存储迁移过程中的日志，便于查看和定位迁移中出现的问题。 不启用：不记录存储迁移过程中的日志。 - 参数配置完成后，单击“确认”开始创建集群。在迁移集群列表中查看集群状态，状态详情参见集群状态说明。如果集群状态为创建失败，将鼠标放至“创建失败”上，可以查看失败原因。在解决失败原因后，可以通过操作列的“更多
创建统计任务并执行校验 利用创建的源端连接和目的端连接，分别创建源端和目的端统计任务，获取源端和目的端的数据信息，以便于进行数据校验。 支持的大数据组件和统计方式说明请参见大数据校验概述。 注意事项 创建的源端统计任务和目的端统计任务的统计方式必须保持一致。 HBase安全集群任
首次进入页面时，在操作流程中，单击手动创建应用后面的“去创建”，弹出新建应用窗口。 如果已创建过发现任务，则单击应用框中的“新建应用”按钮，弹出新建应用窗口。 输入自定义的应用名称和描述；选择业务场景和使用场景；目的端区域选择目的端所在区域，单击“创建应用”按钮，应用创建成功，进入关联资源页面。 如果已
迁移任务类型 全量迁移 迁移源端桶/文件夹内的全部数据。 列表迁移 通过对象列表文件过滤迁移，只迁移对象列表文件中的对象。 在“列表路径”输入存放在目的端桶的对象列表文件路径。对象列表文件的约束与限制如下： 目的端为OBS 对象列表文件大小不能超过30 MB。 对象列表文件类型必须为.txt
首次进入页面时，在操作流程中，单击手动创建应用后面的“去创建”，弹出新建应用窗口。 如果已创建过发现任务，则单击应用框中的“新建应用”按钮，弹出新建应用窗口。 输入自定义的应用名称和描述；选择业务场景和使用场景；目的端区域选择目的端所在区域，单击“创建应用”按钮，应用创建成功，进入关联资源页面。 如果已经进行
关于OBS、NAS和SMB存储系统之间进行异构迁移的对象长度限制说明 在OBS、NAS和SMB存储系统之间进行异构迁移时，不同系统对文件夹和路径长度的限制存在不同。了解并遵守每个系统的对象长度限制是成功执行异构迁移的关键。根据具体的迁移方向，确保对象的路径长度符合目的端系统的要求，以避免迁移失败或数据不一致的问题。
阿里云云数据库ClickHouse 在创建Hive Metastore连接前，需要先获取连接Hive Metastore的IP地址和端口号。 在创建MaxCompute连接前，需要先获取MaxCompute服务所在地域的Endpoint信息。 在创建Doris连接前，需要先获取Doris集群部署的服务器IP地址和端口。
华为账号准备 使用MgC之前，您需要拥有一个华为账号或一个可用于访问MgC的IAM用户，并获取账号/IAM用户的访问密钥（AK/SK）。获取方法请参考准备工作。 创建迁移项目 在MgC控制台为本次迁移创建独立的项目，方法请参考项目管理。 创建目的端OBS桶 在华为云创建一个用于接收
在左侧导航栏选择“部署>迁移集群”，进入迁移集群页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。 单击页面右上角的“创建集群”按钮，进入创建集群页面。 如果是首次创建迁移集群，需要您同意华为云账号进行相关的委托授权。委托权限所包含的细粒度权限请前往委托权限说明查看。 根据表1，配置参数。
配置说明 所属源 选择目的端。 连接名称 默认创建名称为“HBase-4位随机数（字母和数字）”，也可以自定义名称。 HBase凭证 选择在Edge添加的目的端HBase凭证。凭证的添加方式请参考添加资源凭证，类型选择“大数据-HBase”。 安全集群 选择是否部署在安全集群下。 Zookeeper节点IP
创建源端连接 创建源端连接是为了允许迁移工具Edge访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
