检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SDK进行二次开发,自行判断MD5校验结果,并根据实际业务进行结果处理。 使用OBS SDK校验上传对象的一致性 使用OBS SDK校验下载对象的一致性 上传对象时,OBS会先在客户端计算出对象的MD5值然后携带上传至OBS,OBS服务端再根据上传的对象内容计算出MD5值,最终与携带上
访问CDN加速域名,CDN上源站类型配置“OBS桶域名”,如果未命中CDN缓存,在购买了回源流量包的情况下会产生OBS回源流量和CDN流量。 因此购买了回源流量包之后,可根据实际使用场景判断,如果确认会执行较多产生公网流出流量的操作,建议购买公网流出流量包。反之可以不购买,在执行少量上述操作时进行按需计费。 父主题:
关于IAM中和OBS相关的策略和角色介绍,请参见权限管理。关于IAM权限的语法结构及示例,请参见IAM权限。 权限根据授权的精细程度,分为角色和策略。角色以服务为粒度,是IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。策略以API接口为粒度进行权限拆分,授权更加精细,可以精确到
在桶列表单击目标桶的桶名称,进入“对象”页面。 在左侧导航栏,单击“访问权限控制>桶策略”,进入桶策略页面。 在“桶策略”页面,单击“创建”。 根据使用习惯,策略配置方式以可视化视图为例。单击“可视化视图”。 配置桶策略内容。 图1 配置桶策略 表1 桶策略配置说明 参数 说明 策略名称
在OBS管理控制台左侧导航栏选择“桶列表”。 在桶列表单击目标桶的桶名称,进入“对象”页面。 在左侧导航栏,单击“访问权限控制>桶策略”,进入桶策略页面。 单击“创建”。 根据使用习惯,策略配置方式以可视化视图为例。单击“可视化视图”。 配置桶策略内容。 图1 配置桶策略 表1 桶策略配置说明 参数 说明 策略名称
wA,在target-bucket桶上配置触发器triggerB关联工作流workflowB。如果,triggerA触发workflowA生成的对象匹配上了triggerB的条件(比如:两个触发器的前缀和后缀不配置),最终,转码的输出会再次触发Data+工作流,从而导致用户工作流
”。 配置自定义策略参数。 图1 配置自定义策略 表1 自定义策略参数配置说明 参数 说明 策略名称 输入自定义策略的名称 策略配置方式 根据使用习惯进行选择,此处以“可视化视图”为例 策略内容 选择“允许” 选择“对象存储服务 (OBS)” 勾选“选择所有操作” 选择“所有资源”
OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。
securitytoken:与临时访问密钥ID和临时秘密访问密钥结合使用,可以访问指定账号下所有资源。 当使用如下工具访问OBS资源时,需配置AK/SK用于生成鉴权信息进行安全认证。 表1 OBS资源管理工具 工具 AK/SK配置方式 OBS Browser+ 在配置登录账号时配置AK和SK,详情请参见登录OBS
用于查看各命令的帮助文档。以查询创建桶命令的帮助文档为例,详细的步骤如下: 使用obsutil help命令查看当前支持的所有命令列表。 根据命令列表中的文档说明,找到需要查看的命令缩写,例如创建桶命令缩写为mb。 使用obsutil help mb命令,查看mb命令的使用方式和详细功能,如下图:
”。 配置自定义策略参数。 图1 配置自定义策略 表1 自定义策略参数配置说明 参数 说明 策略名称 输入自定义策略的名称 策略配置方式 根据使用习惯进行选择,此处以“可视化视图”为例 策略内容 选择“允许” 选择“对象存储服务 (OBS)” 勾选“写”操作中的“obs:buck
44KB, obs://bucket-test1/test.txt --> /temp/test1.txt 步骤四:分享对象 运行以下命令,生成对象的下载链接: obsutil sign obs://bucket-test/test.txt 回显结果如下所示: Download url
在桶列表单击目标桶的桶名称,进入“对象”页面。 在左侧导航栏,单击“访问权限控制>桶策略”,进入桶策略页面。 在“桶策略”页面,单击“创建”。 根据使用习惯,策略配置方式以可视化视图为例。单击“可视化视图”。 配置桶策略内容。 图1 配置桶策略 表1 桶策略配置说明 参数 说明 策略名称
在桶列表单击目标桶的桶名称,进入“对象”页面。 在左侧导航栏,单击“访问权限控制>桶策略”,进入桶策略页面。 在“桶策略”页面,单击“创建”。 根据使用习惯,策略配置方式以可视化视图为例。单击“可视化视图”。 配置桶策略内容。 图1 配置桶策略 表1 桶策略配置说明 参数 说明 策略名称
List,ACL)功能的详细信息可参见ACL功能介绍。 取值范围: 如果使用预定义ACL策略,则可选策略参见ACL预定义访问策略。 如果选择自定义ACL策略,则可以根据AccessControlList参数描述,自行给参数赋值。 默认取值: AccessControlList.REST_CANNED_PRIVATE
桶策略定义了OBS中的资源(桶和对象)的访问控制策略。 操作步骤 登录OBS Browser。 选择待配置的桶,单击“更多 > 配置桶策略”。 根据需求在“配置桶策略”输入框中输入桶策略。 桶策略最多不能超过20KB。 桶策略各字段含义如表1所示。除“Effect”字段为必选外,其他字段均为可选字段。
对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。 FunctionGraph函数 算子使用FunctionGraph函数工作流。 1 通过算子对数据进行处理,会使用到函数工作流的资源,比如算子执行时长,函数工作流会根据资源使用情况进行收费,收费详情参见函数工作流计费说明。
碎片管理功能可以清除由于对象上传失败而产生的数据。 权限控制 OBS Browser支持通过桶策略、对象策略、桶ACL和对象ACL进行权限控制。 服务端加密 用户可根据需要对对象进行服务端加密,使对象更安全的存储在OBS中。 跨域资源共享 跨域资源共享(CORS)是由W3C标准化组织提出的一种网络浏览器的
创建VPC:创建1个虚拟私有云和子网。 创建SFS Turbo HPC型文件系统:创建1个SFS Turbo文件系统,文件系统类型选择“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 创建OBS桶:创建1个OBS桶,存储类别为“标准存储”,桶策略为“私有”。
终端节点必选,其余配置项可选 为了快速创建和检索到您的资源,需要配置客户端的终端节点,即告知服务端资源所在的区域。 除了访问密钥和终端节点外,您可以根据自身使用场景,为客户端配置其他选项。 配置SDK日志 配置日志等级 否 OBS Java SDK基于Apache Log4j2开源库提供了