检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SFS Turbo HPC型文件系统。 图2 关联SFS Turbo 选择完成后,单击“确定”创建关联。 使用过程中请不要解除关联,解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。 一个SFS Turbo文件系统最多可关联1个网络。 父主题: 基本配置
同步上传示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步上传操作指导。 假设本地文件夹的格式如下: └── src1 ├── src2 ├── test1.txt └── test2.txt ├── src3
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
lue3。 fs 附加参数,可选 是否使用并行文件系统的列举方式,如果桶是并行文件系统,推荐加上该参数。 注意: 该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。
待几分钟才能上传对象;如果您希望创建成功后能够立即上传对象,请参考初始化配置将endpoint配置为区域域名。 命令结构 Windows操作系统 obsutil mb obs://bucket [-fs] [-az=xxx] [-acl=xxx] [-sc=xxx] [-location=xxx]
e:password@your-proxy:8080。 说明: HTTP代理的格式一般为http://[用户名:密码@]代理服务器地址:端口号,其中用户名密码非必选。 如果proxyUrl参数和系统环境变量的优先级规则为:proxyUrl > HTTPS_PROXY > HTTP_PROXY。
Server2016以及Mac平台。各操作系统的规格要求如表1所示。您可以单击这里获取用于不同操作系统的OBS Browser+的下载地址和安装方法。 使用前请绑定支付方式,避免因费用问题导致受限。 表1 OBS Browser+对PC机的规格要求 规格项 规格要求 备注 操作系统 Windows 10
登录管理控制台console.huaweicloud.com。 单击页面右上角的“费用和成本”进入费用中心页面。 选择“资金管理 > 充值”,系统自动跳转到充值窗口。 根据界面提示信息,对账户进行充值。 充值成功后,关闭充值窗口,返回管理控制台首页。 在服务列表中选择“对象存储服务 OBS”,开通并进入OBS管理控制台。
IAM中为各云服务预置了系统权限,方便您快速完成基础权限配置,表1为OBS的所有系统权限。 如果系统预置的OBS权限,不满足您的授权要求,可以创建自定义策略。自定义策略中可以添加的授权项(Action)请参考桶相关授权项和对象相关授权项。 表1 OBS系统权限 系统角色/策略名称 描述
件中配置panicForSymbolicLinkCircle为false。 软链接和Windows操作系统上的快捷方式是两种独立的类型,obsutil不支持识别Windows操作系统的快捷方式。 父主题: 最佳实践
管理桶配额 使用场景 默认情况下,OBS系统和单个桶都没有总数据容量和对象数量的限制。您可以通过为桶设置配额限制来控制桶内允许上传的对象总容量,超过设置的对象容量后,上传对象会失败。 桶配额只对设置生效后的对象上传操作有限制, 如果设置的桶配额数值小于已经上传的对象容量,不会删除
如果没有开启客户端跨区域复制模式,复制的源桶和目标桶必须在同一个区域(Region)。 如果源桶是并行文件系统(POSIX),则目标桶不能是非并行文件系统。 命令结构 Windows操作系统 复制单个对象 obsutil cp obs://srcbucket/key obs://dstbucket/[dest]
OBS性能优化建议 OBS按照对象名的UTF-8编码范围来进行分区管理,对系统进行水平扩展与动态负载均衡。如果用户在对象命名规则上使用了顺序前缀(如时间戳或字母顺序),可能导致大量对象的请求访问集中于某个特定分区,造成访问热点。热点分区上的请求速率受限,访问时延上升。 推荐使用随
待恢复cold存储对象的版本号。 fs 附加参数,可选 是否使用并行文件系统的列举方式,如果桶是并行文件系统,推荐加上该参数。 注意: 该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。
一个账号及账号下的所有IAM子用户可创建的桶+并行文件系统的上限为100个。建议结合OBS细粒度权限控制能力,合理进行桶规划和使用。例如,建议在桶内根据对象前缀划分不同的目录,通过细粒度权限控制实现不同目录在不同业务部门之间的权限隔离。 默认情况下,OBS系统和单个桶都没有总数据容量和对象数量的限制。
列举桶内权限(obs:bucket:ListBucket)和列举桶权限(obs:bucket:ListAllMyBuckets)。 OBS系统权限说明请参见表1。 图5 配置自定义策略 用户所在的用户组在IAM中需未添加此处待添加的策略,否则添加的策略将以IAM中配置的为准。 勾选待添加的策略。
Forbidden InvalidAccessKeyId 系统记录中不存在客户提供的Access Key Id。 携带正确的Access Key Id。 403 Forbidden NotSignedUp 你的账户还没有在系统中注册,必须先在系统中注册了才能使用该账户。 先注册OBS服务。 403
购买时长仅支持指定15年。15年时长的存储资源包由于系统原因将会分为3个5年时长的资源包,但不影响使用,即0-5年时使用第一个5年资源包,以此类推。 OBS提供的以下资源包也同时支持并行文件系统: 表2 并行文件系统资源包说明 资源包 作用 使用限制 标准存储包(单AZ) 用于抵扣单AZ并行文件系统产生的标准存储数据容量费用。
如果待下载的对象名匹配该参数,则跳过该对象的复制。 须知: 建议使用引号传递该匹配模式(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。 该匹配模式作用于对象全路径(含从根路径开始的对象前缀和对象名,例如,桶内对
服务器端口号(HTTPS协议端口号为“443”,HTTP协议端口号为“80”)。系统默认服务器为HTTPS服务器,如需使用HTTP服务器,请单击页面右上角的图标并单击“系统配置”,在弹出的“系统配置”窗口,取消对“启用HTTPS安全传输协议”的勾选。 图2 添加新账号-“其他对象存储”