检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私
图解对象存储服务
Teleport方式 云专线(Direct Connect,DC) 搬迁本地数据至OBS_云专线方式 在ECS上实现通过华为云内网访问OBS 弹性云服务器(Elastic Cloud Server,ECS) 在ECS上通过内网访问OBS 通过IAM服务实现以下功能: 用户身份鉴权 IAM用户权限设置
Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。 VPC:虚拟私有云和子网。 算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。
您可以在CES云监控服务上监控和SFS Turbo文件系统的性能使用情况。当AI算力集群规模变大,大模型参数量变大,导致Checkpoint读加载时间变长时,或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时,您可以对SFS Turbo进行性能扩容,以缩短数据加载时长。详情可参见SFS
服务端加密(Node.js SDK) 服务端加密简介(Node.js SDK) 加密说明(Node.js SDK) 加密示例(Node.js SDK)
Data+最佳实践 视频转码 父主题: Data+
止盗链。 使用场景 一些不良网站为了不增加成本而扩充自己站点内容,经常盗用其他网站的链接。一方面损害了原网站的合法利益,另一方面又加重了服务器的负担。因此,产生了防盗链技术。 在HTTP协议中,通过表头字段referer,网站可以检测目标网页访问的来源网页。有了referer跟踪
上的数据迁移到华为云对象存储OBS。 具体方案请参见操作教程。 百度云BOS迁移至华为云OBS 本方案介绍了如何将百度云对象存储BOS(Baidu Object Storage,简称BOS)上的数据迁移到华为云对象存储OBS。 具体方案请参见操作教程。 优刻得US3迁移至华为云OBS
如果您在填写用户域名时,需要OBS控制台为您呈现已有华为云域名,便于您在下拉列表中直接点选,则您需要拥有域名注册服务(Domains)的Domains:domains:getDetails权限,请联系管理员使用统一身份认证服务(IAM)为您授权。授权操作请参见给IAM用户授权。 域名后缀目前支持的范围为2~6个英文大小写字母。如:
- operation_name 否 String 函数操作名。 系统内置的工作流函数操作名有: 视频解析:MPC.Metadata 视频截图:MPC.Thumbnail 视频转码:MPC.Transcode 对接截图函数示例(GO语言) 1 2 3 4 5 6 7
生命周期管理简介 生命周期管理是指通过配置指定的规则,实现定时删除桶中的对象或者定时转换对象的存储类别。 生命周期管理可适用于以下典型场景: 周期性上传的日志文件,可能只需要保留一个星期或一个月。到期后要删除它们。 某些文档在一段时间内经常访问,但是超过一定时间后就可能不再访问了
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
基于安全合规要求,对象存储服务OBS禁止通过OBS的默认域名(桶访问域名或静态网站访问域名)在线预览桶内对象,即使用上述域名从浏览器访问桶内对象(如视频、图片、网页等)时,不会显示对象内容,而是以附件形式下载。 为了解决以上问题,OBS默认域名强制下载后,推荐用户使用自有域名实现在线预览。
ssue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 OBS允许在桶内保存静态的网页资源,如.html网页文件、flash文件、音视频文件等,当客户端通过桶的Website接入点访问这些对象资源时,浏览器可以直接解析出这些支持的网页资源,呈现给最终用户。典型的应用场景有:
统一身份认证服务:即华为云统一身份认证服务,负责生成临时安全凭证。 实现流程如下: 应用客户端向应用服务器申请一个临时操作凭证。 应用服务器向统一身份认证服务请求临时安全凭证。 统一身份认证服务向应用服务器返回临时安全凭证。 应用服务器将临时安全凭证发放给应用客户端。 应用客户端使用安全凭证完成OBS数据上传下载。
初始化 配置密钥 创建OBS客户端 配置OBS客户端 配置SDK日志 异步调用
临时授权访问 使用临时URL进行授权访问
设置访问日志 日志简介 开启桶日志 查看桶日志配置 关闭桶日志
静态网站托管 静态网站托管简介 网站文件托管 设置托管配置 查看托管配置 清除托管配置