检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击想要上传文件或文件夹的桶。 单击“上传”,并选择“添加文件”或“添加文件夹”,如图5所示。 图5 上传文件或文件夹 使用“添加文件”功能上传对象时,为了更好的体验,建议您最多同时选择100个文件进行上传,如果超过此限制,建议将多个文件放在文件夹中,然后使用“添加文件夹”功能进行上传。 如果上传文件时弹出“Service
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
桶进行分类的目的。当为桶添加标签时,该桶上所有请求产生的计费话单里都会带上这些标签,从而可以针对话单报表做分类筛选,进行更详细的成本分析。 全部 √ √ 对象标签 OBS支持使用对象标签对桶中的对象进行分类,您可以在上传对象时添加标签,也可以为已有对象添加标签。 支持的区域请参见功能总览。
服务端加密SSE-KMS方式 功能介绍 SSE-KMS方式,OBS使用KMS(Key Management Service)服务提供的密钥进行服务端加密。用户可以创建自定义密钥,用于SSE-KMS加密。如果未指定,则用户首次向区域中的桶上传SSE-KMS加密的对象时,OBS将自动
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
BucketNotEmpty 用户尝试删除的桶不为空。 409 Conflict CredentialsNotSupported 该请求不支持证书验证。 400 Bad Request CustomDomainAreadyExist 配置了已存在的域。 400 Bad Request
OBS .NET SDK基于Apache Log4net开源库提供了日志功能,您可以通过加入日志配置文件开启日志功能。具体步骤如下: 在工程中添加对开发包中的日志库文件log4net.dll的引用。 将开发包中的日志配置文件Log4Net.config拷贝至工程目录中bin目录下的D
求者身份的正确性。 当您使用OBS提供的API进行二次开发并通过AK/SK认证方式完成认证鉴权时,需要按照OBS定义的签名算法来计算签名并添加到请求中。 OBS支持使用永久AK/SK鉴权,也支持通过临时AK/SK和securitytoken进行认证鉴权。 永久AK/SK 用户可以在“我的凭证”页面创建永久AK/SK。
} 作用范围 默认为“全局级服务” 单击“确定”,完成自定义策略创建。 创建用户组并授权。 按照IAM文档指导,将前面步骤创建的自定义策略添加到用户组中。 将需要授权的IAM用户(APPServer)加入到创建的用户组中,授权完成。 由于缓存的存在,授予OBS相关的策略后,大概需要等待10~15分钟策略才能生效。
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
obs:*:*:bucket:桶名称 选择“添加条件” 条件键:obs:prefix 运算符:StringMatch 值:文件夹名称/ 【说明】 如果希望用户只有列举桶下某一个文件夹的权限,则需要针对obs:bucket:ListBucket这个动作添加请求条件。prefix为列举桶内对象
ESS_KEY_ID和SECRET_ACCESS_KEY_ID。 // 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html String ak =
BucketNotEmpty 用户尝试删除的桶不为空。 409 Conflict CredentialsNotSupported 该请求不支持证书验证。 400 Bad Request CustomDomainAreadyExist 配置了已存在的域。 400 Bad Request
BucketNotEmpty 用户尝试删除的桶不为空。 409 Conflict CredentialsNotSupported 该请求不支持证书验证。 400 Bad Request CustomDomainAreadyExist 配置了已存在的域。 400 Bad Request
BucketNotEmpty 用户尝试删除的桶不为空。 409 Conflict CredentialsNotSupported 该请求不支持证书验证。 400 Bad Request CustomDomainAreadyExist 配置了已存在的域。 400 Bad Request
通过OBS Browser+挂载外部桶的方式完成读写操作。暂不支持在OBS控制台访问非本账号的OBS桶。 通过OBS Browser+访问添加的外部桶可能仍会出现无权限的相关提示信息。 报错原因:OBS Browser+桶详情页面的加载会调用一些其他的OBS接口,而授予的读写权限
接口 说明 获取桶列表 查询自己创建的桶列表。 创建桶 创建一个新桶。可以在创建时添加不同的请求消息头来指定桶的区域、权限控制策略、存储类型等信息。 列举桶内对象 获取桶内对象列表。可以在创建时添加不同的请求消息头来获取符合指定前缀、标识符等要求的对象。 获取桶元数据 查询桶元数
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。