检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建文件存储批量迁移工作流 本节介绍如何使用文件存储批量迁移模板,批量创建文件存储数据迁移任务,实现文件存储数据的高效迁移。 约束与限制 关于文件存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 风险提示 在创建工作流时,对于源端和目的端的同名对象,我们提供了三种覆盖策略:
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提供了一致性校验方法。通过一致性校验,您可以更加放心地进行大数据迁移操作,确保数据的准确性和可靠性,从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验:
度。 建议:监控网络带宽使用情况,确保有足够的带宽用于迁移。如果发现带宽不足,可以考虑升级带宽或在带宽使用较低的时段进行迁移。 父主题: 存储迁移
最多可添加五条流量控制规则。 时区时间以控制台所选Region的当地时间为准。 启用LTS服务 启用:记录存储迁移过程中的日志,便于查看和定位迁移中出现的问题。 不启用:不记录存储迁移过程中的日志。 - 参数配置完成后,单击“确认”开始创建集群。在迁移集群列表中查看集群状态,状态详情参见集群状态说明。
建议:在迁移期间,对占用系统性能的任务进行优先级调整,确保迁移任务能够获得足够的性能资源。也可以考虑在系统负载较低的时段进行迁移。 父主题: 存储迁移
-90%的阈值,则需要及时联系目的端厂商进行调整。 对于源端桶和目的端桶,可以在对应的存储服务控制台查看QPS和出入流量的指标。以华为云OBS为例,查看方法请参考查看桶用量统计。 父主题: 存储迁移
使用须知 支持的区域 当前支持在以下区域(Region)进行SFS迁移,其它Region请使用线下工具RDA或者咨询其它方案进行迁移。 华北-北京四 华北-乌兰察布一 华南-广州 华东-上海一 华东-上海二 华东-青岛 西南-贵阳一 中国-香港 亚太-新加坡 内网迁移 支持在同一Region内通过内网进行迁移。
(可选)网络打通 当创建的集群选择的VPC与SFS服务使用的VPC不是同一个时,需要进行额外的网络配置,以确保SFS 1.0、SFS 3.0和集群之间的网络连通。 SFS 1.0网络打通 SFS 1.0通过创建对等连接来打通网络,方法请参考创建相同账户下的对等连接。 SFS 3.0网络打通
各地域Endpoint信息请参考Endpoint对照表。 表11 阿里云云数据库ClickHouse连接参数配置说明 参数 配置说明 所属源 仅需在源端创建元数据连接。 连接名称 默认创建名称为“阿里云云数据库ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具
安全、实时和性能的双向协同通信。 对象存储迁移服务 (Object Storage Migration Service,OMS) 提供对象存储迁移能力,可以将其他云平台对象存储服务中的数据迁移至华为云对象存储服务OBS中。 云备份(Cloud Backup and Recovery,CBR)
如果最后修改时间相同,比较文件大小;如果大小不同,则后一个对象覆盖前一个。 如果最后修改时间和文件大小都相同,则跳过,保留已迁移的对象。 父主题: 存储迁移
获取方法:在迁移工具Edge所部署主机的“/opt/cloud/Edge/tools/plugins/collectors/bigdata-migration/deltaSpark”路径下获取。 datasource.jar: 用途:包含数据源的配置和连接逻辑,允许服务连接到不同的数据库或数据存储系统。 获取方法:
选择保存路径,将资源导出到本地。 步骤二:将导出的文件上传至OBS 登录华为云OBS控制台,创建一个用于存储RVTools导出资源文件的标准存储桶。方法请参考创建桶。 参考上传对象,将导出的RVTools资源文件上传至OBS标准存储桶。 步骤三:导入RVTools资源 登录迁移中心管理控制台。 单击左侧导航
选择保存路径,将资源导出到本地。 步骤二:将导出的文件上传至OBS 登录华为云OBS控制台,创建一个用于存储RVTools导出资源文件的标准存储桶。方法请参考创建桶。 参考上传对象,将导出的RVTools资源文件上传至OBS标准存储桶。 步骤三:导入RVTools资源 登录迁移中心管理控制台。 单击左侧导航
将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理? 当从HTTP/HTTPS数据源迁移数据到对象存储服务(OBS)时,由于OBS不区分URL差异,只识别对象名称,因此同名对象会根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行处理,目的端同一目录下不会出现同名对象。
表3和表4。 表3 存储迁移通用约束与限制 类别 约束与限制 多版本对象迁移 默认只迁移源端多版本对象中的最新版本,不支持迁移历史版本的对象存储数据。 目的端桶存储类别 目的端桶的存储类别只能为标准存储或者低频访问存储。迁移完成后,可以自行修改桶的存储类别。 迁移对象 对象名称不能包含特殊字符。
表2 阿里云云数据库ClickHouse连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“阿里云云数据库ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 ClickHouse凭证 选择在Edge添加的源端阿里云云数据库ClickH
线下主机迁移上云 主机一站式跨可用区迁移 创建存储迁移工作流 大数据数据迁移 支持多种大数据组件的元数据迁移,元数据增量感知,数据全量及增量迁移。 支持区域: 全部 创建源端连接 创建目的端连接 迁移实施 大数据校验 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Dor
MaxCompute参数 非必填参数,一般为空。如有需要可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按项目筛选,在数据库参数框中输入项目名即可。如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.~e.在模板中添加不需要迁移的表信息,然后上传至MgC。
工作流任务。 连接成功后,您可以在迁移中心控制台进行以下操作: 创建资源采集任务:通过公网发现源端多种类型资源,支持对主机、容器、对象存储和数据库等资源进行深度采集。 创建主机迁移工作流:进行主机迁移,MgC提供高灵活、可定制的迁移工作流,根据采集的源端主机性能数据,推荐最合适的华为云主机规格。