检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云并行文件系统迁移教程 并行文件系统(Parallel File System)是对象存储提供的一种经过优化的高性能文件语义系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS。 作为对象存储的子产品,并行文件系统的迁移方法与对象存储迁移方法一致。 迁移任务 创建迁移任务可参见创建迁移任务。
OMS将对象数据迁移到并行文件系统有哪些限制? OMS将对象数据迁移到并行文件系统有以下限制(并行文件系统限制): 若对象名以/结尾,则对象大小必须为0,否则不支持迁移。 对象名中不能出现连续/,例如:test//test。 在同一层级中,文件和文件夹的名称不能相同。 父主题: 迁移限制
华为云OBS提供了obsutil工具来解冻归档对象,支持批量解冻。 obsutil工具支持Windows、Linux和macOS等操作系统,您可以根据实际情况下载和安装合适的版本。 操作步骤 下载并安装obsutil。 解冻归档存储对象。 解冻完成后,参考华为云OBS之间迁移教程,将数据迁移到华为云OBS。
bat文件。 运行以下命令,生成配置文件。 解压路径\ossutil>ossutil64.exe config 使用交互式配置生成配置文件。 输入配置命令。 ./ossutil64 config 根据提示设置配置文件路径。 建议直接按回车使用默认配置文件的路径。 根据提示设置工具的语言。
是否启用代理(y or n):n 配置文件 [ config1 ] 已修改 是否使用该配置作为默认配置(当前默认配置为:< config >)(y or n)? 首次创建的配置文件时会自动将该配置作为默认配置。 配置加密只加密到公私钥,并且当前配置文件只在初次创建时可选是否加密。
迁移并行文件系统内的对象数据有哪些限制? 当待迁移对象所属文件层级过深时,建议通过创建迁移任务组进行迁移。如果通过创建迁移任务进行迁移,可能出现列举对象超时,导致列举中断。 父主题: 迁移限制
迁移并行文件系统对象时,一致性校验失败如何处理? 问题描述 迁移并行文件系统对象时,源端对象最后修改时间晚于目的端对象,导致一致性校验失败,重试迁移依然校验失败,并且目的端对象最后修改时间一直保持不变。 问题分析 出现该问题可能是因为并行系统存在元数据mtime(可以设置最后修改
能,降低您使用SDK的难度,推荐使用。 SDK列表 表1提供了OMS服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 Java huaweicloud-sdk-java-v3 Java
可以通过华为云对象存储服务提供的客户端工具OBS Browser+来移动迁移的数据。 请参见下载OBS Browser+获取工具。 登录工具,选中要移动的数据(单个或多个目录或文件),单击“移动”。 进入存储数据的桶,单击“粘贴”即可把之前选中的数据移动过来,原来桶中的数据已不存在。 对象较多 推荐使用obsutil工具修改对象路径。
取。 基于系统策略获取OBS Administrator权限,将该权限赋予子用户,获取方式参见创建用户组并授权。 基于IAM细粒度OBS权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容。 登录华为云,在右上角单击“控制台”。 在控制台页面,鼠标移动至右上方的账
录管理控制台创建迁移任务后,即可等待系统完成迁移,中途无需额外操作。 安全认证 对象存储迁移服务的鉴权支持AK/SK方式,启动数据传输时会充分认证身份的合法性,避免数据被盗用。 创建迁移任务时您需要输入AK/SK进行安全认证,校验成功后,系统才可以访问源端和目的端的迁移数据,从而成功创建迁移任务。
数据识别与准备 在迁移开始前,华为云OMS服务会先对源端存储系统中的数据进行识别,包括对象大小、最后修改时间以及位置等关键信息。基于这些信息,服务会为用户生成一个对应的迁移任务配置,确保迁移过程的高效性和准确性。 父主题: 迁移工作原理
在什么条件下使用基于评估创建迁移任务? 如果桶内数据容量超过3TB,数量超过500万个,推荐您创建迁移任务组进行迁移。系统会根据桶内对象的存量和数量分布,自动划分为多个迁移任务,提高迁移效率、减少迁移时间。 父主题: 产品咨询
数据迁移 根据迁移配置,华为云OMS服务会开始从源端存储系统拉取数据。同时,服务会确保数据的完整性和一致性,避免在迁移过程中出现数据丢失或损坏的情况。服务还支持断点续传功能,当迁移过程中出现网络中断或其他异常情况时,服务可以从断点处恢复传输,确保数据的完整性和迁移的连续性。 父主题:
单击“检查”按钮,检查参数设置是否正确。 检查未通过,请单击“详情”查看未通过的原因。 检查通过,继续进行其他迁移配置。 设置“目的端配置选项”区域参数。 服务端加密。目的端为并行文件系统(PFS)时,不支持KMS加密。 不勾选“KMS”,迁移后对象均不加密。 勾选“KMS”,所有对象在迁移到OBS桶后都将被加密存储。
大量任务阻塞在等待中,请控制创建任务的频率。 如果单个对象大小超过500G,建议您通过提交工单的方式,开通并发分片白名单配置,提升迁移速率。 在迁移过程中,系统将自动在目的端桶创建一个名为“OMS”的临时文件夹。严禁手动操作此文件夹,包括但不限于修改、删除或添加内容。对该文件夹进
单击“检查”按钮,检查参数设置是否正确。 检查未通过,请单击“详情”查看未通过的原因。 检查通过,继续进行其他迁移配置。 设置“目的端配置选项”区域参数。 服务端加密。目的端为并行文件系统(PFS)时,不支持KMS加密。 不勾选“KMS”,迁移后对象均不加密。 勾选“KMS”,所有对象在迁移到OBS桶后都将被加密存储。
单击“检查”按钮,检查参数设置是否正确。 检查未通过,请单击“详情”查看未通过的原因。 检查通过,继续进行其他迁移配置。 设置“目的端配置选项”区域参数。 服务端加密。目的端为并行文件系统(PFS)时,不支持KMS加密。 不勾选“KMS”,迁移后对象均不加密。 勾选“KMS”,所有对象在迁移到OBS桶后都将被加密存储。
单击“检查”按钮,检查参数设置是否正确。 检查未通过,请单击“详情”查看未通过的原因。 检查通过,继续进行其他迁移配置。 设置“目的端配置选项”区域参数。 服务端加密。目的端为并行文件系统(PFS)时,不支持KMS加密。 不勾选“KMS”,迁移后对象均不加密。 勾选“KMS”,所有对象在迁移到OBS桶后都将被加密存储。
单击“检查”按钮,检查参数设置是否正确。 检查未通过,请单击“详情”查看未通过的原因。 检查通过,继续进行其他迁移配置。 设置“目的端配置选项”区域参数。 服务端加密。目的端为并行文件系统(PFS)时,不支持KMS加密。 不勾选“KMS”,迁移后对象均不加密。 勾选“KMS”,所有对象在迁移到OBS桶后都将被加密存储。