检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
桶的高级配置 本章介绍对桶属性的一系列管理操作,包括:桶ACL权限、生命周期管理、桶策略、挂载外部桶。 桶ACL权限 生命周期管理 桶策略 挂载外部桶
对所有账号授予指定目录的读权限 场景介绍 当一个文件夹下的对象都需要授权所有账号访问权限时,可以通过桶策略配置授予所有账号访问文件夹内对象的权限。 配置须知 本案例预置的“目录只读”模板允许所有账号(所有互联网用户)对指定目录执行以下权限: GetObject:获取对象内容、获取对象元数据
bucket_name = "<Your bucketname>"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境
源,可以使用桶策略的方式授权对应权限。当不同的桶对于不同的IAM用户有不同的访问控制需求时,需使用桶策略分别授权IAM用户不同的权限。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 除了桶访问权限外,桶的拥有者还可以通过桶策略,提供对桶和桶内对象的集中访问控制。
见HTTPS证书配置。 配置步骤 为OBS桶绑定自定义域名。 绑定的方法请参见绑定自定义域名。按照参考文档配置时,需要开启CDN加速,CNAME配置为CDN分配的CNAME域名。 登录CDN控制台的“域名管理”界面,在相应域名的“基本配置 > 源站配置”中,将“主源站”修改为“源
关于并行文件系统的更多说明,请参见什么是并行文件系统。 更多关于创建并行文件系统的示例代码,请参见Github示例。 创建并行文件系统过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 创建并行文件系统常见问题请参见并行文件系统常见问题。 父主题: 管理并行文件系统(Java
config.Endpoint = "https://your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境
OBS允许您对桶配置不同的存储类型,桶中对象的存储类型默认将与桶的存储类型保持一致。不同的存储类型可以满足客户业务对存储性能、成本的不同诉求。桶的存储类型分为三类,见下表: 类型 说明 OBS C SDK对应值 标准存储 标准存储拥有低访问时延和较高的吞吐量,适用于有大量热点对
绍了每个接口的参数和使用方法。 桶存量信息包括桶已使用的空间大小以及桶包含的对象个数。您可以通过ObsClient.getBucketStorageInfo获取桶的存量信息。以下代码展示如何获取桶存量信息: // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建
创建ObsClient实例 var obsClient = new ObsClient({ // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境
SDK快速使用OBS OBS SDK对OBS服务提供的REST API进行封装,以简化用户的开发工作。您直接调用OBS SDK提供的接口函数即可使用OBS管理数据。 本章节以Java、Python、Go三种SDK为例,帮助您快速上手OBS的基础功能,包括创建桶、上传对象、下载对象、列举对象。
将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS
${key}为关键字,prefix为要添加的前缀,suffix为要添加的后缀。同时prefix和suffix的总长度[0, 1023] 否 replaceKeyPrefixWith 替换前缀objectKeyPrefixEquals的字符串。如果去源端下载对象时,需要替换当前的对象名前缀,则修改此项配置。
桶的基本操作 本章介绍对桶的一系列管理操作。 创建桶 搜索桶 查看桶的基本信息 碎片管理 删除桶
config.Endpoint = "https://your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境
存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 调用ObsClient类的相关接口时,没有异常抛出,则表明返回值有效,返回SDK公共响应头子类实例;如果抛出异常,则说明操作失败,此时应从SDK自定义异常实例中获取错误信息。OBS客户端提供同步调用和异步调用两种方式,具体示例如下:
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
定义的元数据,以便对对象进行自定义管理。Map中的String代表以“x-obs-meta-”开头的自定义元数据名称,Object代表自定义元数据的值。对象的自定义元数据可以通过ObsClient.getObjectMetadata获取,参见获取对象元数据。 约束限制: 一个对象
S Browser支持上传最大为48.8TB的单个文件。 OBS Browser支持断点续传。当上传任务暂停或者失败,重新启动上传任务,根据任务记录的分片信息,已上传成功的分片不会再次上传,会请求上传其他的分片。 对于万级别的文件数量的批量上传,建议使用obsutil工具,详见上传对象。
bucket_name = "<Your bucketname>"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境