检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
相关授权操作可参见典型权限场景配置案例。 OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 支持获取上传进度的接口包括:流式上传、文件上传、上传段、追加上传和断点续传上传。 如果ProgressStatus.getTransf
终端用户附近的CDN节点上,让身处各地的终端用户都可以快速访问存储在OBS中的数据。当用户需要更新OBS中存储的数据时,CDN中缓存的过时数据也需要进行更新,可以使用CDN自动刷新功能来自动通知CDN去更新数据。因此,通过配置自动刷新策略,可以保证CDN节点上的缓存数据和源站(OBS)的数据一致。
不同权限和不同有效期的临时访问密钥并返回给用户服务器。 用户服务器将临时访问密钥分发给对应权限的终端APP。 终端APP可通过临时访问密钥使用OBS SDK或API访问OBS服务,因临时凭据的有效时间较短,终端APP需及时向用户服务器请求更新临时访问密钥。 配置示例 请参见临时授权访问OBS。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
配置ModelArts和SFS Turbo间网络直通。 创建委托授权ModelArts云服务使用SFS Turbo。 配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4
security_provider_policy='ECS' ) # 使用访问OBS # 关闭obsClient obsClient.close() 当应用程序部署在ECS服务器上时,可以采用以上方式从ECS服务器上自动获取临时访问密钥和定期自动刷新。 如果客户端报401错误,则需要排查在创建ECS时是否有添加委托。
Obs.0004 客户端与服务器的时间相差大于15分钟。 出于安全目的,OBS会校验客户端与OBS服务器的时间差,当该时间差大于15分钟时,OBS服务器会拒绝您的请求,从而出现此报错。请根据本地UTC时间调整本地时间后再访问。 Obs.0005 服务器负载过高,请稍后重试。 Obs
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
控制概述,配置方式详见使用IAM自定义策略、配置对象策略。 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 断点续传上传接口传入的文件大小至少要100K以上。 使用SDK的断点续传接口时,必须开启断点续传选项后才能在进程再次进入时读取上一次上传的进度。
FS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
单击“网络配置”,根据需求设置代理服务器信息,如图2所示。 图2 网络配置 表2 网络配置参数说明 参数 说明 启用代理 勾选后,会展示“使用身份验证”的可选项。设置以下参数就可以通过代理服务器访问OBS。 地址:代理服务器地址。 端口:代理服务器端口(默认为“8080”)。 单击
file问题。 是 v3.23.5 新功能 问题修复 新增OBS请求支持自定义头域功能。 获取桶存量信息接口,支持按照存储类别统计存量信息。 修复ECS通过代理获取凭据访问OBS时,正则匹配失败的问题。 是 v3.22.2 新功能 新增虚拟桶相关接口。 对Python3 HTTPS参数的使用进行了兼容性更改。
果。 如果验证失败则通知客户端验证失败,状态码为403 Forbidden,错误码为SignatureDoesNotMatch。定位和修复签名不匹配行为请参见签名不匹配(SignatureDoesNotMatch)如何处理 客户端 8 接收服务端响应 客户端接收服务端响应。 携带签名的方式
21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 成本规划 OBS费用:详见OBS计费说明。 SFS Turbo费用:详见SFS计费说明。 ModelArts费用:详见ModelArts计费说明。
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。
默认取值: 无 signature str 参数解释: 表单中的signature。示例如下: g0jQr4v9VWd1Q2FOFDG6LGfV9Cw= 默认取值: 无 代码样例 此用例用于生成带授权信息的表单上传参数policy和signature。 1 2 3 4
控制概述,配置方式详见使用IAM自定义策略、配置对象策略。 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 对于存储类别为归档存储或深度归档存储的对象,需要确认对象的状态为“已恢复”才能对其进行下载。 方法定义 ObsClient.downloadFile(params)
S proxyHost 代理服务器的主机地址。 proxyConfig.proxyHost = @"host" proxyPort 代理服务器的端口号。 proxyConfig.proxyPort = @"port" username 连接代理服务器时使用的用户名。 proxyConfig
义域名的地址)来发起访问请求。 DNS将请求解析到桶默认域名。 DNS通过桶默认域名解析请求到OBS服务器的IP地址。 OBS返回服务器的IP地址给客户端。 客户端向OBS服务器IP地址发起Host为自定义域名的请求。 OBS识别请求的Host为自定义域名,向客户端返回不带下载响