检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么是Content-Type Content-Type用于指定Object的文件类型。内容类型决定浏览器将以什么形式、什么编码读取文件。如果没有指定文件类型,则根据文件的扩展名生成。如果文件没有扩展名,则文件类型的默认值application/octet-stream。
(Harmony SDK) 按https://桶名.域名/文件夹目录层级/对象名的方式进行拼接。 如果该对象存在于桶的根目录下,则链接地址将不需要有文件夹目录层级。 各区域对应的域名可以从这里的终端节点查看。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。
什么是Content-Type Content-Type用于指定Object的文件类型。内容类型决定浏览器将以什么形式、什么编码读取文件。如果没有指定文件类型,则根据文件的扩展名生成。如果文件没有扩展名,则文件类型的默认值application/octet-stream。
对象存储提供了基于桶和对象的扁平化存储方式,桶中的所有对象都处于同一逻辑层级,去除了文件系统中的多层级树形目录结构。 每个桶都有自己的存储类别、访问权限、所属区域等属性,用户可以在不同区域创建不同存储类别和访问权限的桶,并配置更多高级属性来满足不同场景的存储诉求。
OBS提供的以下资源包也同时支持并行文件系统: 表2 并行文件系统资源包说明 资源包 作用 使用限制 标准存储包(单AZ) 用于抵扣单AZ并行文件系统产生的标准存储数据容量费用。 只适用于单AZ并行文件系统产生的标准存储数据容量计费,且只能用于资源包所属区域。
下面的示例代码展示了如何使用分段上传并发上传大文件。
背景知识 由于OBS没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据,OBS提供了一种方式模拟文件夹。通过在对象的名称中增加“/”,将该对象在管理控制台上模拟成一个文件夹的形式展现。 操作步骤 登录OBS Browser。
fs 附加参数,可选 是否使用并行文件系统的列举方式,如果桶是并行文件系统,推荐加上该参数。 注意: 该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。
一个账号及账号下的所有IAM用户可创建的桶+并行文件系统的上限为100个。每个桶中存放的对象的数量和大小总和没有限制,用户不需要考虑数据的可扩展性。
桶是OBS全局命名空间,相当于数据的容器、文件系统的根目录,可以存储若干对象。以下代码展示如何新建一个桶: 桶的名字是全局唯一的,所以您需要确保不与已有的桶名称重复。 桶命名规则如下: 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“.”。 禁止使用类IP地址。
请关闭客户端,并前往您的数据库路径(可以在“系统配置 > 其他”中查看)删除obs文件夹中的所有文件,再重启客户端”的报错,并且无法通过删除数据库路径下的obs文件解决问题。
初始化obsfs 在使用obsfs之前,需要将访问密钥(AK和SK)信息写入密钥文件,方便在使用并行文件系统时对使用者的身份进行验证。 本章节以将访问密钥信息写入“/etc/passwd-obsfs”文件为例,介绍具体的操作步骤。
解压该开发包,可以看到其中包含obs文件夹(SDK源码)、main文件夹和examples文件夹(示例代码)和README.MD(SDK版本特性描述文件)。 使用GoLand新建Go工程,将obs、examples、main文件夹拷贝至新建工程中的src文件夹下。
加密密钥类型您还可以选择“共享密钥”,输入共享密钥ID,您上传的对象将使用其他用户共享的密钥进行加密。获取共享密钥ID,具体请参见查看密钥。 说明: 支持配置主项目和子项目下的共享密钥,但配置子项目下的共享密钥后,共享密钥的拥有者访问对象异常,桶所有者可正常访问。
并行文件系统GET类请求 pfs_get 请求费用 对并行文件系统执行GET类操作产生的请求费用。 并行文件系统PUT类请求 pfs_put 请求费用 对并行文件系统执行PUT类操作产生的请求费用。
您最多可以在一个并行文件系统下配置20条生命周期管理规则,超过20条将提示不支持。 生命周期为覆盖语义,修改桶的生命周期规则,您需要在原有规则的基础上添加规则。
日志初始化(Python SDK) 功能说明 通过开启SDK日志功能,可将接口调用过程中产生的日志信息记录到日志文件,用于后续的数据分析或问题定位。具体步骤如下: 找到OBS Python SDK开发包(github获取)中的log.conf文件。
桶是OBS全局命名空间,相当于数据的容器、文件系统的根目录,可以存储若干对象。
一个账号及账号下的所有IAM用户可创建的桶+并行文件系统的上限为100个。建议结合OBS细粒度权限控制能力,合理进行桶规划和使用。例如,建议在桶内根据对象前缀划分不同的目录,通过细粒度权限控制实现不同目录在不同业务部门之间的权限隔离。