检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-localfile=xxx [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil bucketpolicy obs://bucket -method=put -localfile=xxx [-config=xxx]
N/A server 连接OBS的服务地址。可包含协议类型、域名、端口号。示例:https://your-endpoint:443。(出于安全性考虑,建议使用https协议) N/A max_retry_count HTTP/HTTPS连接异常时的请求重试次数。默认为3次。 [1,5]
"http://your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量ACCESS_KEY_I
临时访问密钥相比IAM用户的永久访问密钥的优势主要有两点: 临时访问密钥的有效时间为15min至24h,不必暴露出IAM用户的永久密钥,降低了账号泄露带来的安全风险。 在获取临时访问密钥时,通过传入policy参数设置临时权限来进一步约束使用者的权限范围,方便IAM用户对使用者的权限进一步管理。 具体使用方法,参考用户签名验证。
资源,能被互联网上任何人访问。OBS提供多种方式将OBS资源权限授予给他人,资源拥有者可以根据业务需求制定不同的权限控制方案,从而确保数据安全。 OBS权限控制模型 OBS提供多种权限控制方式,包括IAM权限、桶策略、对象ACL、桶ACL。各个方式说明及应用场景如表1所示。 图1
除桶时会先调用列举多版本对象(ListBucketVersions)接口。而授予的权限中并没有包含这些操作的权限,所以会提示“拒绝访问,请检查相应权限”,或者“不允许在请求的资源上执行此操作”。 如果希望IAM用户能在控制台或OBS Browser+顺利完成桶删除操作,桶策略中要
ObsClient是线程安全的,可在并发场景下使用 ObsClient obsClient = null; try { String endPoint = "https://your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建
HTTPS HTTP 自定义域名 已通过工信部备案的域名 你可以为桶配置用户自定义的域名,通过用户自定义的域名访问桶。 HTTP 基于安全合规要求,自2023年12月30日起,华为云禁止使用path请求方式访问OBS桶(path请求方式是指桶名不在访问域名中,而在URL参数中的访问请求,即
HTTPS HTTP 自定义域名 已通过工信部备案的域名 你可以为桶配置用户自定义的域名,通过用户自定义的域名访问桶。 HTTP 基于安全合规要求,自2023年12月30日起,华为云禁止使用path请求方式访问OBS桶(path请求方式是指桶名不在访问域名中,而在URL参数中的访问请求,即
对象(ListBucket)等接口,其他页面也会调用其他的OBS接口。而授予的只读权限中并没有包含这些操作的权限,所以会提示“拒绝访问,请检查相应权限”,或者“不允许在请求的资源上执行此操作”。 如果希望IAM用户能在控制台或OBS Browser+顺利完成相关读操作,请按照后续操作继续配置IAM自定义策略。
对象(ListBucket)等接口,其他页面也会调用其他的OBS接口。而授予的只读权限中并没有包含这些操作的权限,所以会提示“拒绝访问,请检查相应权限”,或者“不允许在请求的资源上执行此操作”。 如果希望IAM用户能在控制台或OBS Browser+顺利完成对象下载操作,请按照后续操作继续配置IAM自定义策略。
已经跟不上计算能力,企业希望存储系统能提供高吞吐的数据访问能力,充分发挥 GPU/NPU 的计算性能,包括训练数据的读取,以及为了容错做的检查点(以下简称Checkpoint)保存和加载。训练数据的读取要尽量读得快,减少计算对 I/O 的等待,而 Checkpoint主要要求高吞吐、减少训练中断的时间。
jar HDFS和Yarn集群对接OBS配置项 在HDFS集群配置中选择“高级”,在core-site.xml的群集范围高级配置代码段(安全阀)增加OBS的ak、sk、endpoint和impl配置,对应名称为fs.obs.access.key、fs.obs.secret.key、fs
string 必选 连接OBS的服务地址。包含协议类型、域名(或IP)、端口号。示例:https://your-endpoint:443。(出于安全性考虑,建议使用https协议) 您可以从这里查看OBS当前开通的服务地址。 securityToken string 可选 临时访问密钥中的SecurityToken。
[-acl] [-bf=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil stat obs://bucket [-acl] [-bf=xxx] [-config=xxx] [-e=xxx]
[-format=default] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil ls obs://bucket[/prefix] [-s][-fs] [-d] [-v] [-du] [-marker=xxx]
ets、obs:bucket:ListBucket及一些控制台和OBS Browser+加载页面时需要调用的接口权限,会提示“拒绝访问,请检查相应权限”,或者“不允许在请求的资源上执行此操作”。 如果希望IAM用户能在控制台或OBS Browser+顺利完成桶和对象相关操作,建议
在OBS控制台左侧导航栏选择“桶列表”,单击页面右上角的“创建桶”按钮。 根据页面提示,选择“区域”、“桶名称”、“存储类别”及“桶策略”等,详情请参见创建桶。 为确保数据安全,“桶策略”建议选择“私有”,其他参数请根据页面提示进行配置。 单击“立即创建”,完成桶创建。 配置允许上传权限。 部门A、B的管理员用户
[-v] [-o=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 删除单个对象 ./obsutil rm obs://bucket/key [-f] [-versionId=xxx] [-fr]
上新增一个版本。 对象键(对象名)虽然可以使用任何UTF-8字符,但是建议按照对象键命名指导原则进行命名,有助于最大程度符合DNS、Web安全字符、XML分析器和其他API的要求。 删除对象 桶没有开启多版本控制功能时,对象删除后不可恢复,请谨慎操作。 并行文件系统 详见《并行文件系统特性指南》