检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
需要频繁访问图片数据的购物网站等,可以使用图片处理对图片在线进行简单操作后,使用CDN加速,后续请求可以直接从CDN下载,提高访问效率。 架构 用户通过管理控制台、OBS客户端、RESTful API接口或者第三方客户端的方式将图片上传至OBS中进行存储。用户下载使用图片前,可以创建图片样式模板或
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
计算存储费用。 通过CDN加速访问OBS 通过华为云CDN加速访问在OBS中的数据,费用将由OBS和CDN共同产生和收取。 整个过程产生的费用示意图如图2所示。 图2 通过CDN加速访问OBS费用示意 各计费项的的详细说明,如表6所示。 表6 通过CDN加速访问OBS计费项说明 产生费用类别
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
API异步启动工作流 功能介绍 本接口用于API方式异步启动已有工作流,产生工作流实例。 请求消息样式 POST /v2/workflows/{graph_name} HTTP/1.1 Host: obs.cn-north-4.myhuaweicloud.com Authorization:
HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。
HPC型文件系统存储空间被写满,会影响业务运行,您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况,并创建告警规则,当容量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时,您需要及时清理SFS Turbo存储空间、或缩短冷数据淘汰时间加速冷数据淘汰、或对SFS
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
域名管理 为什么通过自定义域名访问桶,提示NoSuchBucket,而通过OBS访问域名可以访问? CDN加速场景下访问OBS桶内对象变成强制下载 OBS桶名和域名之间有什么联系? 为什么会存在CNAME解析状态为未知的情况? 为什么用户在华为云购买的域名才支持一键解析?
支持设置桶的生命周期管理策略,实现自动删除超期的对象。 挂载外部桶 方便用户管理其他OBS用户共享的数据。 CDN下载 可以为本桶绑定的自定义域名配置启用CDN下载,以实现在OBS Browser上下载对象时,从CDN加速节点获取,提高下载速度。 任务管理 方便用户管理上传、下载、重命名、移动、复制、删除、恢复任务。
st-Method 实际请求可以带的HTTP方法,可以带多个方法头域。 类型:String 有效值:GET、PUT、HEAD、POST 、DELETE 是 Access-Control-Request-Headers 实际请求可以带的HTTP头域,可以带多个头域。 类型:String
对象相关接口(Go SDK) 对象相关接口说明(Go SDK) 上传对象简介(Go SDK) 下载对象简介(Go SDK) 创建文件夹(Go SDK) 复制对象(Go SDK) 删除对象(Go SDK) 批量删除对象(Go SDK) 设置对象元数据(Go SDK) 获取对象元数据(Go
当在自定义域名上配置了CDN加速服务,即自定义域名为CDN服务的加速域名时,需要额外对CDN服务进行配置,以保证可以正常使用自定义域名访问OBS服务。 以华为云CDN服务为例,相关配置如下所示: 登录华为云CDN服务,从CDN服务左侧列表中选择域名管理项,在该项中可以查看到所有配置的CDN服务域名信息。
桶相关接口说明(Go SDK) OBS Go SDK为桶相关接口均提供了使用带授权信息的URL访问OBS服务的方法,这些方法可能包含三个参数:带授权信息的URL、通过带授权信息的URL发起请求时实际应携带的头域、请求携带的数据(可选)。 关于如何生成带授权信息的URL,请参考生成带授权信息的URL。
图片处理 如何通过URL访问图片处理服务? 设置CDN加速后,处理过的图片存储在哪里? 设置桶日志后,进行图片处理,发现有100网段的ip访问桶 图片处理如何收费? 每个桶支持创建多少个图片样式?
API触发启动工作流(Python SDK) 功能说明 API触发启动工作流。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义 WorkflowClient.asyncAPIStartWorkflow(graphName,
Encryption Workshop,DEW) 服务端加密 通过CDN服务为OBS桶绑定的自定义域名加速。 CDN(Content Delivery Network,内容分发网络) 自定义域名绑定 通过CDN加速访问OBS 通过DNS服务为托管在OBS上的静态网站和OBS桶绑定的自定义域名做域名解析。
上传段 功能介绍 多段上传任务创建后,用户可以通过指定多段上传任务号,通过上传段接口为特定的任务上传段,从客户端上传新数据,了解完整的分段上传流程请参见分段上传。同一个对象的同一个多段上传任务在上传段时,上传的顺序对后续的合并操作没有影响,也即支持多个段并发上传。 段大小范围是[
SDK接口拓展配置(Go SDK) 功能说明 增加拓展配置extensionOptions(obs包中的私有类型),当前可以通过调用如下拓展配置项为对应请求配置额外的拓展请求头。 可用的拓展请求头 创建方式 说明 WithTrafficLimitHeader(trafficLimit