检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业根据您的自身情况选择。 资源池:专属资源池,选择创建资源中创建的ModelArts资源池。 SFS Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 图1 创建训练作业参数 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动
选择“关联sfsturbo”。 在“关联sfsturbo”弹窗中,选择创建资源中创建的SFS Turbo HPC型文件系统。 图2 关联SFS Turbo 选择完成后,单击“确定”创建关联。 使用过程中请不要解除关联,解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。
API 桶的基础操作 桶的高级配置 静态网站托管 对象操作 多段操作 服务端加密 Data+
Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。在满足同等可靠性要求的前提下,EC的空间利用率优于多副本。 OBS创建桶时支持选择数据冗余存储策略,选择多AZ存储时,数据冗余存储在同区域的多个AZ。当某个AZ不可用时,仍然能够从其他AZ正常访问数据,适用于对可靠性要求较高的数据存储场景。 创建多AZ桶
取消挂载并行文件系统失败 本文根据在取消挂载并行文件系统时遇到的不同现象,总结了常见取消挂载并行文件系统失败的可能原因及解决办法。 现象一:取消挂载并行文件系统时出现“target is busy”类似错误 问题定位: 取消挂载时,命令行终端停留在挂载目录或其子目录。 解决办法:
考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS
取消挂载并行文件系统 如果不再需要通过挂载方式访问OBS并行文件系统,或者需要对已挂载并行文件系统进行参数新增、修改或删除时,可以取消挂载并行文件系统。 取消挂载并行文件系统不会影响已保存至并行文件系统中的数据。 前提条件 待取消挂载的并行文件系统目前处于挂载状态。 操作步骤 打开命令行终端。
恢复归档或深度归档存储对象(Go SDK) 功能说明 如果要获取归档或深度归档存储对象的内容,需要先将对象恢复,然后再执行下载数据的操作。对象恢复后,会产生一个标准存储类型的对象副本,也就是说会同时存在标准存储类型的对象副本和归档或深度归档存储对象,在恢复对象的保存时间到期后标准存储类型的对象副本会自动删除。
S Browser+上传文件或文件夹。 单击待操作的桶名称,进入桶对象页面。 单击“上传对象”,系统将弹出如下所示对话框。 图3 上传对象 添加待上传的文件。 不可加密上传静态网站文件。 存储类别建议选择“标准存储”。如果静态网站文件的存储类别为“归档存储”,则需要先恢复才能被访
folder_url2。 filelist_url 多文件/文件夹上传时可选 包含待上传文件/文件夹列表的文件,必须配置msm=2。 说明: 该文件为普通文本文件(如.txt文件、.csv文件),文件中的每行代表一个待上传的文件/文件夹,例如: file_url1 file_url2
存储费用 在使用对象存储服务时,按实际使用的存储容量、存储类型和时长收费。在使用不同存储类别的桶存储不同存储类别的对象文件时,收取的计费项有所不同。具体计费说明如表1所示。 不同规格的存储类别详细介绍请参考存储类别。 计费说明 表1 存储费用说明 资费项 计费项 含义 适用的计费模式
服务端加密简介 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS支持服务端加密功能,使对象加密的行为在OBS服务端进行。 更多关于服务端加密的内容请参考服务端加密。 父主题:
en(可为空)。 如果希望通过ECS接口自动获取临时访问密钥,则只需要确保该ECS绑定了IAM对ECS的云服务委托,并给委托配置OBS权限。具体请参见在ECS上获取Security Key。 访问密钥查找流程 从.obsutilconfig配置文件中(ak、sk、token)查找
在欧洲地区有业务的用户,可以选择“欧洲-巴黎”区域。 云服务之间的关系 如果多个云服务一起搭配使用,需要注意: 不同区域的弹性云服务器、关系型数据库、对象存储服务内网不互通。 不同区域的弹性云服务器不支持跨区域部署在同一负载均衡器下。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。
使用生命周期转换对象存储类别 如图所示,OBS支持通过生命周期实现以下场景的存储类别自动转换: 标准存储->低频访问存储、归档存储、深度归档存储 低频访问存储->归档存储、深度归档存储 归档存储->深度归档存储 如果对象是低频、归档或深度归档存储对象,那么转换过程中可能会涉及不满最低存储时间而产生的存储费用。
对象数据的MD5值(经过Base64编码),提供给OBS服务端,校验数据完整性。 无 对象存储类型 对象的存储类型,不同的存储类型可以满足客户业务对存储性能、成本的不同诉求。默认与桶的存储类型保持一致,可以设置为与桶的存储类型不同。 无 对象自定义元数据 用户对上传到桶中对象的自定义属性描述,以便对对象进行自定义管理。
网站域名+文件在OBS桶中的存储路径+文件名称。 以步骤2配置的视频网站域名click.my-video.com以及存储在my-video桶中的video/3.2.1/文件夹下的introduction.mp4文件为例,文件点播URL的配置如下: https://click.my-video
桶创建成功后,不支持变更区域,请谨慎选择。 存储类别 标准存储 桶的存储类别。不同的存储类别可以满足客户业务对存储性能、成本的不同诉求。 标准存储:适用于有大量热点文件或小文件,且需要频繁访问(平均一个月多次)并快速获取数据的业务场景。 低频访问存储:适用于不频繁访问(平均一年少于12次),但需要快速获取数据的业务场景。
单个删除和批量删除指定版本对象 删除对象 批量删除对象 obs:object:DeleteObjectVersion √ √ 恢复归档存储对象 恢复归档存储或深度归档存储对象 obs:object:RestoreObject √ √ 设置对象ACL 设置对象ACL obs:object:PutObjectAcl
Log4j2开源库提供了日志功能,Log4j2框架按照优先级将日志进行了分级处理,您可以配置存储某个级别以上的日志,自行决定存储日志的范围。 OBS Java SDK默认将WARN及WARN以上级别的日志保存到本地。 配置日志存放路径 否 配置日志在本地的存储路径。 父主题: 初始化(Java SDK)