检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Lake(无元数据) Hudi(有元数据) Hudi(无元数据) 需要确保源端和目的端执行机都安装了大数据组件的命令行客户端。 源端和目的端执行机均需要创建连接。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。
urce_path和target_path参数为必填项。 模板参数填写完成并保存后,单击导入窗口的“添加文件”按钮,将填写后的模板文件上传。 上传成功后,单击“确认”按钮,系统开始导入。在库表清单列表中可以查看导入的数据表。 导出数据表 支持将Delta Lake和Hudi有元数
如果是首次创建迁移集群,需要您同意华为云账号进行相关的委托授权。委托权限所包含的细粒度权限请前往委托权限说明查看。 根据表1,配置参数。 表1 集群参数配置说明 区域 参数 配置说明 限制说明 基础配置 集群名称 自定义名称。 同一账户下集群名称不可重名。 区域 选择创建集群的区域。 与目的端区域保持一致。
发现方式选择“RVTools导入”,单击“添加文件”,选择导出到本地的RVTools资源文件。 图4 导入RVTools资源 单击“确认”,将文件上传到Edge。 上传成功后,单击页面右上角的“查看任务”,右侧弹出任务列表页面,查看任务状态。当任务状态为已完成,在主机列表中可以查看导入的主机资源。
慎使用“不覆盖”策略。 直接覆盖 对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。 条件覆盖 对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较文件大小,大小不同则源端覆盖目的端文件;如果最后修改时间和大小都相同,则跳过;
网络配置及迁移端口 确保源端和目的端的网络连接和端口开放满足迁移要求,详情请参见网络配置及端口开放。 前提条件 已完成主机资源采集。 已将待迁移的主机资源关联应用,并对应用内的主机进行规格评估。规格评估成功后,通过购买资源,批量购买目的端。如果待迁移应用中的主机已绑定目的端,则无需进行规格评估。
购买资源 目的端规格配置完成后,无需切换服务,可以直接在迁移中心批量购买目的端资源。当前仅支持购买主机资源。主机迁移工作流支持自动购买主机资源,通过“购买列表”批量购买资源适用于部分主机需要重新部署的场景。通过购买列表成功购买的主机,将自动绑定为迁移目的端,可以使用主机工作流继续迁移。
的详细规格、节点配置、持久卷配置以及网络策略等详细信息。具体操作步骤请参考容器深度采集。 在Edge添加采集凭证时,类型选择容器,配置文件上传AWS容器集群的登录配置文件。 图4 在Edge添加深度采集凭证
xCompute。 模板中单元格不允许存在公式,否则会导致解析失败。 模板参数填写完成并保存后,单击窗口的“添加文件”,将填写后的模板文件上传至迁移中心。 注意: 文件大小不能超过100 MB。 单击“确认”,创建血缘采集任务完成。系统自动开始进行血缘采集。 单击“查看任务”,进
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验,校验任务执行成功,查看校验结果,发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中,
评估镜像失败,该规格不支持Windows镜像,如何处理? 问题分析 出现该问题,是因为选择的目的端规格仅支持Linux镜像。 解决方法 重新选择支持Windows镜像的目的端规格。选择目的端规格后,可以在镜像下拉列表中,查看是否有符合的镜像类型。 父主题: 规格评估
事件记录 Edge提供了一系列日志记录和事件审计功能,允许用户通过控制台界面和日志文件查看和了解操作行为,并进行错误排查和资源定位。 功能介绍 日志记录:系统会生成详细的操作日志,日志文件存储于:{Edge安装路径}/logs/audit/audit.log 。 事件记录界面:E
子任务处理:迁移工作流会自动将大型任务拆分为多个子任务来执行。只有当这些子任务完成后,系统才会更新显示的进度。 大对象迁移:如果子任务中包含了大型文件或对象,可能需要较长时间来迁移。 后台处理:即使进度没有实时更新,迁移过程也可能在后台继续进行。进度条的更新可能存在延迟。 解决方案
AK/SK)。获取方法请参考准备工作。 创建迁移项目 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 创建弹性文件系统 在目的端创建相应的弹性文件系统,用于迁移后的数据存储和管理,方法请参见创建弹性文件系统。 父主题: SFS1.0迁移至SFS 3.0
Windows主机迁移完成后,登录目的端主机发现磁盘数量与源端主机不一致,有数据盘缺失,但在目的端控制台查看磁盘数量正常。 问题分析 出现该问题,可能是因为源端主机的磁盘策略为共享磁盘脱机或者离线模式,迁移后会导致数据盘处于脱机状态。 解决方法 您可以参考方法一或方法二,在目的端主机进行处理。 方法一:
法请参考创建集群。 创建目的端弹性文件系统。 在目的端创建相应的弹性文件系统,用于迁移后的数据存储和管理,方法请参见创建弹性文件系统或创建高性能文件系统。 注意事项 一个方案只能创建一个迁移工作流。 一个方案最多添加100个文件存储。 同一方案下的目的端文件存储必须处于同一区域。
为本次迁移创建独立的迁移集群,方法请参见创建集群。 步骤二:创建文件存储迁移方案 将源端需要迁移到同一目的端区域的文件存储资源添加到同一迁移方案中,并为每个资源配置相应的目的端,然后绑定迁移集群。详细操作步骤请参考配置文件存储批量迁移方案。 步骤三:创建文件存储迁移工作流 选择迁
创建源端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括: MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数
Guest(全部云服务只读权限)(除IAM权限) OMS Administrator(对象存储迁移服务所有权限) 迁移集群 Tenant Guest(全部云服务只读权限)(除IAM权限) OMS Administrator(对象存储迁移服务所有权限) nat:natGateways:list(查询NAT网关列表)
填写存放fastjson-1.2.54.jar和datasource.jar包的OBS路径,以数组形式传入,路径带双引号,以英文逗号隔开。例如:["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"]