检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
com,检查网络时延、丢包率等。 OBS各区域终端节点列表 检查是否通过内网访问OBS。 检查方法参考如何判断是否内网访问OBS?。 对于大量小文件的上传、下载,主要受TPS(单位时间内处理文件个数)影响,而非带宽。 批量上传可以增加“-j”和“-p”等参数,并将参数值调高,观察传输速度是否提高。参考性能调优最佳实践
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
您必须是桶拥有者或拥有获取对象元数据的权限,才能获取自定义元数据。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:object:GetObject权限,如果使用桶策略则需授予GetObject权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、配置对象策略。 OBS
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
同时,购买标准存储包每月会分别赠送读操作和写操作请求次数,优先使用赠送部分,如果赠送的请求次数用完,超出部分会自动进行按需计费。如果您叠加购买标准存储包,赠送的请求次数也会叠加。如果您的包月资源包进行了升配,赠送的请求次数也会进行升级,剩余请求次数=升配后的请求次数-原来已使用的请求次数。 除了服务端返回的状
方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Che
)和中划线(-)开头或结尾。 禁止使用IP地址。 当使用HTTPS协议访问OBS系统时,由于SSL的通配符证书仅匹配不包含"."的桶。这将导致桶名包含"."的桶在访问OBS系统时,客户端会提示证书校验存在风险,比如浏览器安全提示会呈现红色告警。因此如非必要,请尽量不要在桶名中包含"."。 使用方式 OB
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”,单击右上角的“创建自定义策略”,进入自定义策略配置页面。 输入“策略
对象。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:object:GetObject权限,如果使用桶策略则需授予GetObject权限。 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 对于存储类别为归档存储或深度归档存储的对
)和中划线(-)开头或结尾。 禁止使用IP地址。 当使用HTTPS协议访问OBS系统时,由于SSL的通配符证书仅匹配不包含"."的桶。这将导致桶名包含"."的桶在访问OBS系统时,客户端会提示证书校验存在风险,比如浏览器安全提示会呈现红色告警。因此如非必要,请尽量不要在桶名中包含"."。 使用方式 OB
至OBS,更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo
通过URL访问对象失败 本案例主要介绍对象URL无法访问的场景。如果您的问题是对象URL只能下载,而不能在线预览,请参考如何在浏览器中在线预览OBS中的对象?解决。 如果您是对象的拥有者,不能通过URL访问对象,请检查如下内容: 如果您是自定义对象的URL,请检查对象URL中是否
在使用访问密钥AK和SK访问OBS过程中,AK和SK是否可以更换或多个用户共享? 可以。 在使用过程中,访问密钥AK和SK可以随时更换。 不同的用户使用相同的一对AK和SK可以同时访问OBS中的资源,且访问到的资源相同。 父主题: 数据安全、迁移和备份
重定向请求 重定向简介 在使用静态网站托管功能时,OBS还支持配置重定向请求,即您可以将特定的请求或所有请求实施重定向。 当网站结构调整、网站地址变化或者网站的扩展名发生变化时,用户使用旧的网站地址(比如收藏夹中的地址)访问网站会访问失败,用户只能得到404页面错误信息。此时网站
分段上传的主要目的是解决大文件上传或网络条件较差的情况。下面的代码示例展示了如何使用分段上传并发上传大文件: // 引入obs库 // 使用npm安装 const ObsClient = require('esdk-obs-nodejs'); // 使用源码安装 // var ObsClient = require('
在订单支付页面,单击“确定”,完成订单支付。 使用API 使用API创建桶具体请参见创建桶。 使用SDK Java Python C Go BrowserJS不支持创建桶 .NET Android iOS PHP Node.js 使用图形化工具OBS Browser+ 登录OBS
您必须是桶拥有者或拥有下载对象的权限,才能下载对象。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:object:GetObject权限,如果使用桶策略则需授予GetObject权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、配置对象策略。 OBS
由华为数据中心邮寄Teleport给用户使用 请参见从创建DES服务单到数据导入华为云需要多长时间? 根据数据大小以及使用时长收费,具体参见DES价格详情 云专线方式 每月大于100TB的数据量,需要实时在线上传 需要部署专线 根据专线带宽决定 根据专线距离以及带宽收费,具体参见云专线价格详情 您也可以使用备份软件实现本地数据备份至OBS。
转换为深度归档存储天数:指定在对象最后一次更新后多少天,受规则影响的对象将转换为深度归档存储。如果同时设置转换为低频访问存储和转换为深度归档存储,则转换为深度归档存储的时间要比转换为低频访问存储的时间长。如果同时设置转换为归档存储和转换为深度归档存储,则转换为深度归档存储的时
间单价*容量*剩余天数/30。补足的费用将直接从账户余额中扣除,而不使用资源包进行抵扣。 存储单个对象小于64KB按64KB计算,大于64KB按实际大小计算。 深度归档存储数据容量(受限公测) OBS中存储的深度归档存储数据所占用的存储空间容量。 存储时间小于180天按180天计