检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
存储迁移相关最佳实践 迁移其他云平台存储数据至华为云 OBS多前缀批量迁移 归档存储(冷存储)数据迁移 SFS1.0迁移至SFS 3.0 通过HTTP迁移MinIO存储数据到华为云OBS 通过HTTP迁移Ceph存储数据到华为云OBS
方案模板窗口。 单击对象存储批量迁移框中的“开始配置”按钮,进入对象存储批量迁移页面。 在基础配置区域,根据表3,配置相关参数。 表3 基础配置参数配置说明 参数 配置说明 方案名称 用户自定义。 描述(可选) 用户自定义。 源端平台 与步骤一采集对象存储资源时,所选的源端云平台保持一致。此处选择“华为云”。
为什么存储迁移工作流进度长时间没有变化? 问题分析 出现迁移进度长时间未更新的情况通常是因为以下几个原因: 子任务处理:迁移工作流会自动将大型任务拆分为多个子任务来执行。只有当这些子任务完成后,系统才会更新显示的进度。 大对象迁移:如果子任务中包含了大型文件或对象,可能需要较长时间来迁移。
AmazonS3ReadOnlyAccess cloudwatch:GetMetricStatistics 数据库 RDS rds:DescribeDBClusters AmazonRDSReadOnlyAccess rds:DescribeDBInstances ec2:DescribeSecurityGroups
如何获取微软云的访问凭证 获取存储账户/密钥 在 Azure 门户中单击“存储账户”,选择待迁移的存储账户。 在“安全性和网络”下,选择“访问密钥” 。 此时会显示账户访问密钥,以及每个密钥的完整连接字符串。 选择“显示”,即可显示访问密钥和连接字符串,单击复制图标即可复制密钥和字符串。
关于OBS、NAS和SMB存储系统之间进行异构迁移的对象长度限制说明 在OBS、NAS和SMB存储系统之间进行异构迁移时,不同系统对文件夹和路径长度的限制存在不同。了解并遵守每个系统的对象长度限制是成功执行异构迁移的关键。根据具体的迁移方向,确保对象的路径长度符合目的端系统的要求,以避免迁移失败或数据不一致的问题。
集群参数配置说明 区域 参数 配置说明 限制说明 基础配置 集群名称 自定义名称。 同一账户下集群名称不可重名。 区域 选择创建集群的区域。 与目的端区域保持一致。 集群类型 选择集群使用场景。 当前仅支持存储迁移场景。 节点创建 Master节点ECS规格 用于管理迁移节点和列举节点,默认创建,无需配置。
虚拟私有云 存储 对象存储 文件存储 腾讯云 主机 数据库 - 存储 对象存储 文件存储 Azure 主机 容器 数据库 - 存储 对象存储 文件存储 中间件 Redis Kafka 网络 弹性公网IP 路由表 安全组 公网NAT网关 虚拟私有云 负载均衡(ELB) 七牛云 存储 对象存储
如何获取Azure对象存储深度采集所需凭证? 在对Azure云平台对象存储资源进行深度采集时,需要使用“存储账户”和“密钥”做为采集凭证,本节介绍获取Azure“存储账户”和“密钥”的方法。 登录 Azure 门户中转到存储账户。 在左侧导航栏选择“安全性和网络 > 访问密钥” ,即可看到“存储账户名称”和“密钥”。
虚拟私有云 存储 对象存储 文件存储 腾讯云 主机 数据库 - 存储 对象存储 文件存储 Azure 主机 容器 数据库 - 存储 对象存储 文件存储 中间件 Redis Kafka 网络 弹性公网IP 路由表 安全组 公网NAT网关 虚拟私有云 负载均衡(ELB) 七牛云 存储 对象存储
error. 参数错误 请根据实际返回的Error Message检查传入的参数值是否合法。更多信息查询: 虚拟私有云 VPC错误码 父主题: 存储迁移
目的端配置 目的端连接 选择创建的目的端DLI 通用队列连接。 注意: 切勿选择DLI SQL队列。 自定义参数 根据实际需求进行配置,支持的自定义参数详情请参考conf参数说明和自定义参数说明。 如果是公网迁移,需要填写以下4个参数: spark.dli.metaAccess.enable:填写true。
SFS1.0迁移至SFS 3.0 使用须知 准备工作 创建集群 (可选)网络打通 创建存储迁移工作流 (可选)清理集群 父主题: 存储迁移相关最佳实践
db) MySQL-generallog采集器(app-discovery-mysql-generallog) MySQL-jdbc采集器(app-discovery-mysql-jdbc) Nginx配置文件采集器(app-discovery-nginx) Cloud-vpc-
移过程中源端和目的端的QPS和带宽占用情况。如果占用率过高,请调整源端和目的端QPS和带宽限制,以确保对现有业务的影响最小化。 父主题: 存储迁移
度。 建议:监控网络带宽使用情况,确保有足够的带宽用于迁移。如果发现带宽不足,可以考虑升级带宽或在带宽使用较低的时段进行迁移。 父主题: 存储迁移
目的端配置 目的端连接 选择创建的目的端DLI 通用队列连接。 注意: 切勿选择DLI SQL队列。 自定义参数 根据实际需求进行配置,支持的自定义参数详情请参考conf参数说明和自定义参数说明。 如果是公网迁移,需要填写以下4个参数: spark.dli.metaAccess.enable:填写true。
建议:在迁移期间,对占用系统性能的任务进行优先级调整,确保迁移任务能够获得足够的性能资源。也可以考虑在系统负载较低的时段进行迁移。 父主题: 存储迁移
-90%的阈值,则需要及时联系目的端厂商进行调整。 对于源端桶和目的端桶,可以在对应的存储服务控制台查看QPS和出入流量的指标。以华为云OBS为例,查看方法请参考查看桶用量统计。 父主题: 存储迁移
使用须知 支持的区域 当前支持在以下区域(Region)进行SFS迁移,其它Region请使用线下工具RDA或者咨询其它方案进行迁移。 华北-北京四 华北-乌兰察布一 华南-广州 华东-上海一 华东-上海二 华东-青岛 西南-贵阳一 中国-香港 亚太-新加坡 内网迁移 支持在同一Region内通过内网进行迁移。