检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
计费场景 某企业基于弹性云服务器(Elastic Cloud Server,ECS)构建好基础的业务后,随着数据增长,硬盘已无法满足大量的图片、视频等数据存取需求。了解到华为云提供有海量、弹性的云存储服务OBS后,决定将OBS作为数据存储资源池,以减轻服务器负担。假设该企业在华北
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
GET 请求服务器返回指定资源,如获取桶列表、下载对象等。 PUT 请求服务器更新指定资源,如创建桶、上传对象等。 POST 请求服务器新增资源或执行特殊操作,如初始化上传段任务、合并段等。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器返回指定资源的概要,如获取对象元数据等。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
x-obs-callback: eyJjYWxsYmFja0JvZHkiOiAie1wiaGFzaFwiOiBcIiQoZXRhZylcIiwgXCJrZXlcIjogXCIkKGtleSlcIn0iLCAiY2FsbGJhY2tVcmwiOiAiaHR0cDovL3d3dy5leGFtcGxlLmNvbS9jYWxsYmFjayJ9
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
1XX 信息,服务器收到请求,需要请求者继续执行操作,一般对客户调用函数不可见。 2XX 成功,操作被成功接收并处理。 3XX 重定向,需要进一步的操作以完成请求,一般对客户调用函数不可见。 4XX 客户端错误,请求包含语法错误或无法完成请求。 5XX 服务器错误,服务器在处理请求的过程中发生了错误。
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
资源提供VPC粒度的权限控制。 一方面,设置VPC终端节点策略可以限制VPC中的服务器(ECS/CCE/BMS)访问OBS中的特定资源;另一方面,设置桶策略可以限定OBS中的桶被特定VPC中的服务器访问,从而在请求来源和被访问资源两个角度保障了安全性。 双端固定支持的区域请参见功能总览。
产品优势 OBS与自建存储服务器对比 在信息时代,企业数据直线增长,自建存储服务器存在诸多劣势,已无法满足企业日益强烈的存储需求。表1向您详细展示了OBS与自建存储服务器的优劣势对比。 表1 OBS与自建存储服务器对比 对比项 OBS 自建存储服务器 数据存储量 提供海量的存储服
为桶配置服务端加密后,OBS会对历史对象进行加密吗? 不会。 OBS只对服务器端加密配置生效后上传的对象进行加密,不会加密历史对象。如果您需要加密历史对象,需删除历史对象后重新上传。 父主题: 服务端加密
应用场景 近年来,AI快速发展并应用到很多领域中,AI新产品掀起一波又一波热潮,AI应用场景越来越多,有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源,包括高性能算力,高速存储和网络带宽等基础设施,即“大算力、大存力、大运力”的AI基础大设施底座,让算力发展不要偏斜。
搬迁本地数据至OBS 背景 传统的自建存储服务器已不能满足大量的数据存储需求,主要原因可以归类为以下三点: 数据存储量受限于搭建服务器时使用的硬件设备,如果存储量不够,需要重新购买存储硬盘,进行人工扩容。 前期安装难、设备成本高、初始投资大、自建周期长、无法匹配快速变更的企业业务。
操作本地目录一样操作OBS并行文件系统,比如保存某个文件至挂载目录,即上传对象至OBS。 obsfs挂载到华为云服务器ECS上时占用OBS流量,不占用华为云服务器ECS的流量。 约束与限制 obsfs只支持挂载OBS并行文件系统,不支持挂载对象存储桶。 本地挂载目录可以不为空,但
如果您在填写加速域名时,需要OBS控制台为您呈现已有华为云域名,便于您在下拉列表中直接点选,则您需要拥有域名注册服务(Domains)的Domains:domains:getDetails权限,请联系管理员使用统一身份认证服务(IAM)为您授权。 请填写可以正常使用的域名。 支持一次性添加5个域名。 static
状态码 服务器向用户返回的状态码和提示信息如表1所示: 表1 状态码 状态码 说明 2xx 服务器成功返回用户请求的数据。 4xx 客户端发出的请求有错误,服务器没有进行新建或修改数据的操作。 5xx 服务器发生错误,用户将无法判断发出的请求是否成功。 注:请使用符合https://www
在ECS上通过内网访问OBS 方案概述 在Windows ECS上使用OBS Browser+通过内网访问OBS 在Linux ECS上使用obsutil通过内网访问OBS 父主题: OBS数据访问
计费模式 计费模式概述 按需计费 包年包月(资源包)
在域名注册商处修改域名解析服务器地址。 在域名注册商处,将该根域名对应的NS记录中域名解析服务器地址修改为云解析服务(DNS)服务器的地址,具体地址为云解析服务中该公网域名记录集中NS记录的值字段内容信息。 详细的更改域名解析服务器地址的方法请参见配置网站解析章节中的“更改域名的DNS服务器”部分。
https://click.my-video.com/video/3.2.1/introduction.mp4 验证业务 待视频网站重新部署后,登录视频网站,点播视频文件。 如果视频可以成功点播,则表示加速配置成功。 父主题: OBS域名管理