检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS
服务端加密SSE-KMS方式 功能介绍 SSE-KMS方式,OBS使用KMS(Key Management Service)服务提供的密钥进行服务端加密。用户可以创建自定义密钥,用于SSE-KMS加密。如果未指定,则用户首次向区域中的桶上传SSE-KMS加密的对象时,OBS将自动
求者身份的正确性。 当您使用OBS提供的API进行二次开发并通过AK/SK认证方式完成认证鉴权时,需要按照OBS定义的签名算法来计算签名并添加到请求中。 OBS支持使用永久AK/SK鉴权,也支持通过临时AK/SK和securitytoken进行认证鉴权。 永久AK/SK 用户可以在“我的凭证”页面创建永久AK/SK。
失败。 原因: FTPServerStart.py代码首行缺少编解码声明。 解决方法: 打开FTPServerStart.py文件,在首行添加如下编解码声明: # -*- coding:utf-8 -*- 保存文件,重新启动obsftp。 现象二:启动obsftp时提示tuple
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
obs:*:*:bucket:桶名称 选择“添加条件” 条件键:obs:prefix 运算符:StringMatch 值:文件夹名称/ 【说明】 如果希望用户只有列举桶下某一个文件夹的权限,则需要针对obs:bucket:ListBucket这个动作添加请求条件。prefix为列举桶内对象
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
} 作用范围 默认为“全局级服务” 单击“确定”,完成自定义策略创建。 创建用户组并授权。 按照IAM文档指导,将前面步骤创建的自定义策略添加到用户组中。 将需要授权的IAM用户(APPServer)加入到创建的用户组中,授权完成。 由于缓存的存在,授予OBS相关的策略后,大概需要等待10~15分钟策略才能生效。
OBS .NET SDK基于Apache Log4net开源库提供了日志功能,您可以通过加入日志配置文件开启日志功能。具体步骤如下: 在工程中添加对开发包中的日志库文件log4net.dll的引用。 将开发包中的日志配置文件Log4Net.config拷贝至工程目录中bin目录下的D
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满,会影响业务运行,您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况,并创建告警规则,当容量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时,您需要及时清理SFS
单击想要上传文件或文件夹的桶。 单击“上传”,并选择“添加文件”或“添加文件夹”,如图3所示。 图3 上传文件或文件夹 使用“添加文件”功能上传对象时,为了更好的体验,建议您最多同时选择100个文件进行上传,如果超过此限制,建议将多个文件放在文件夹中,然后使用“添加文件夹”功能进行上传。 如果上传文件时弹出“Service
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
单击想要上传文件或文件夹的桶。 单击“上传”,并选择“添加文件”或“添加文件夹”,如图3所示。 图3 上传文件或文件夹 使用“添加文件”功能上传对象时,为了更好的体验,建议您最多同时选择100个文件进行上传,如果超过此限制,建议将多个文件放在文件夹中,然后使用“添加文件夹”功能进行上传。 如果上传文件时弹出“Service
单击想要上传文件或文件夹的桶。 单击“上传”,并选择“添加文件”或“添加文件夹”,如图3所示。 图3 上传文件或文件夹 使用“添加文件”功能上传对象时,为了更好的体验,建议您最多同时选择100个文件进行上传,如果超过此限制,建议将多个文件放在文件夹中,然后使用“添加文件夹”功能进行上传。 如果上传文件时弹出“Service
”。具体请参见为什么OBS桶接入CDN后,访问域名会列出所有文件列表? 设置静态网站托管 概述 如果要为静态网站托管配置桶,则要将网站配置添加到桶。该配置包含以下信息: 索引文档 当您键入诸如http://example.com的URL时,您不是在请求特定的页面。在这种情况下,W
当应用程序部署在ECS服务器上时,可以采用以上方式从ECS服务器上自动获取临时访问密钥和定期自动刷新。 如果客户端报401错误,则需要排查在创建ECS时是否有添加委托。 在使用该方式获取临时访问密钥时,请确保服务端和应用程序部署所在环境的UTC时间一致,否则可能会导致临时访问密钥无法及时刷新的问题。
domainId/*表示授权给账号下的所有用户。 授权资源 资源范围:指定对象 资源路径:输入对象前缀 说明: 支持输入多个资源路径,单击“添加资源路径”按钮即可。 您可以指定资源路径为具体对象、对象集或目录,*表示桶内所有对象。 如果指定某个对象:对象名称。 如果指定某个对象集:
通过OBS Browser+挂载外部桶的方式完成读写操作。暂不支持在OBS控制台访问非本账号的OBS桶。 通过OBS Browser+访问添加的外部桶可能仍会出现无权限的相关提示信息。 报错原因:OBS Browser+桶详情页面的加载会调用一些其他的OBS接口,而授予的读写权限