检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源池:专属资源池,选择创建资源中创建的ModelArts资源池。 SFS Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 图1 创建训练作业参数 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令
桶 桶(Bucket)是OBS中存储对象的容器。对象存储提供了基于桶和对象的扁平化存储方式,桶中的所有对象都处于同一逻辑层级,去除了文件系统中的多层级树形目录结构。 每个桶都有自己的存储类别、访问权限、所属区域等属性,用户可以在不同区域创建不同存储类别和访问权限的桶,并配置更多高级属性来满足不同场景的存储诉求。
版本及以上支持该参数。 fs 附加参数,可选 是否使用并行文件系统的列举方式,如果桶是并行文件系统,推荐加上该参数。 注意: 该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。
素共同决定,与桶策略类似,详细请参见桶策略参数说明。其中资源为已选择的对象,系统自动配置。自定义创建的方法,可参见自定义创建桶策略(可视化视图),与自定义桶策略相比有如下两点区别: 资源不需要指定,系统默认指定为已选择对象。 配置的动作仅支持对象相关动作。 父主题: 权限控制
直读归档存储对象 使用场景 实际业务场景下,您可能有不通过恢复而直接获取归档数据的诉求。如有时间要求,需要急速读取归档数据;或者在OBS与其他系统对接的情况下,因接口兼容问题,需要直接读取归档数据。 桶开启归档数据直读后,存储类别为归档存储的对象可以直接访问,无需提前恢复。开启直读后
删除桶内全部分段上传任务 本章节案例中的所有命令均以Linux操作系统为例,提供删除桶内全部分段上传操作指导。 假设bucket-test桶内包含如下分段上传任务: obs://bucket-test/task1.txt uploadid1 obs://bucket-test/task1
新建文件夹 用户可通过OBS Browser+新建文件夹。 背景信息 由于OBS没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据,OBS提供了一种方式模拟文件夹。通过在对象的名称中增加“/”,将该对象在管理控制台上模拟成一个文件夹的形式展现。 操作步骤 登录OBS Browser+。
由于该参数值必定含有<和>,作为命令运行时,必须使用引号转义(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)。 fs 附加参数,可选 是否使用并行文件系统的列举方式,如果桶是并行文件系统,推荐加上该参数。 注意: 该列举方式会因为目录结构,耗时会差别很大。 该
Windows操作系统 在指定桶内创建文件夹 obsutil mkdir obs://bucket/folder[/subfolder1/subfolder2] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] 在本地文件系统路径中创建文件夹
桶概述 桶(Bucket)是OBS中存储对象的容器。对象存储提供了基于桶和对象的扁平化存储方式,桶中的所有对象都处于同一逻辑层级,去除了文件系统中的多层级树形目录结构。 每个桶都有自己的存储类别、访问权限、所属区域等属性,用户可以在不同区域创建不同存储类别和访问权限的桶,并配置更多高级属性来满足不同场景的存储诉求。
log”和“log/test2.log”,会在最近一次系统自动扫描后被删除,可能在1月10日当天,也可能在1月11日,这取决于系统的下一次扫描在何时进行。 1月10日上传的两个对象“log/clientlog.log”和“log/serverlog.log”,每下一次系统扫描均会判断距上一次对象更新是否
[-crr] [-config=xxx] 注意:通过-i、-k、-e配置用户认证信息后,linux等操作系统的history命令可查询配置参数值,请谨慎使用该操作。 运行示例 以Windows操作系统为例,运行obsutil config -interactive,更新默认配置文件的访问密钥和OBS服务地址。
如果待下载的对象名匹配该参数,则跳过该对象的复制。 须知: 建议使用引号传递该匹配模式(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。 该匹配模式作用于对象全路径(含从根路径开始的对象前缀和对象名,例如,桶内对
如何获取SecurityToken?(Java SDK) 临时AK/SK和SecurityToken是系统颁发给IAM用户的临时访问令牌,有效期可以设置为15分钟至24小时,过期后需要重新获取。 获取SecurityToken可以参考IAM开发指导文档示例,其他获取方式也可以参考
是否支持修改对象名称(重命名) 支持。可以使用mv移动命令,示例如下: 以Windows操作系统为例,运行obsutil mv obs://bucket-test/key obs://bucket-test/key2 ,将对象key重命名为key2。 obsutil mv obs://bucket-test/key
删除分段上传任务 功能说明 通过分段上传任务的ID,删除指定桶中的分段上传任务。 按指定的对象名前缀批量删除分段上传任务。 命令结构 Windows操作系统 删除单个分段上传任务 obsutil abort obs://bucket/key -u=xxx [-f] [-fr] [-o=xxx]
默认情况下,OBS中新创建的桶不会开启多版本功能,向同一个桶上传同名的对象时,新上传的对象将覆盖原有的对象。 约束与限制 开启了桶级WORM开关,系统将自动开启多版本,并且不允许暂停多版本。 开启多版本控制 桶中已有对象的版本ID(空)和内容都不会变化。再次上传该同名对象,对象版本示意图如图1所示。
命令结构 Windows操作系统 obsutil stat obs://bucket [-acl] [-bf=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil stat
如何查看桶内的文件夹大小? 可以使用obsutil列举对象命令,指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例,运行./obsutil ls obs://bucket-test/test/ -du -limit=0命令,查询桶bucket-test下test文件夹的大小。
obsutilconfig中的proxyUrl参数,示例:proxyUrl=http://username:password@your-proxy:8080; 方式二,通过系统环境变量HTTPS_PROXY或HTTP_PROXY,示例:HTTPS_PROXY=http://username:password@your-proxy:8080。