检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。对象存储服务系统通过接入键标识识别访问系统的用户。 SK:Secret Access Key,安全接入键,用户在对象存储服务系统中的安全接入键,是用户访问对象存储服务系统的密钥,用户
本地文件会包含上一级父对象名前缀;如果设置了flat选项,则下载的本地文件不包含上一级父对象名前缀。 请参考下载示例理解该参数的使用方式。 fr 附加参数,下载对象时可选 下载对象时生成结果清单文件。 flat 附加参数,批量下载时可选 批量下载时,不包含上一级父对象名前缀。 tempFileDir
ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。对象存储服务系统通过接入键标识识别访问系统的用户。 SK:Secret Access Key,安全接入键,用户在对象存储服务系统中的安全接入键,是用户访问对象存储服务系统的密钥,用户
归档存储对象不能直接下载,需要先进行恢复才能下载。 先对对象进行恢复操作。 403 Forbidden NotSignedUp 您的账户还没有在系统中注册,必须先在系统中注册了才能使用该账户。 先注册OBS服务。 403 Forbidden RequestTimeTooSkewed 客户端发起请求的时间与OBS服务端的时间相差太大。
同步上传示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步上传操作指导。 假设本地文件夹的格式如下: └── src1 ├── src2 ├── test1.txt └── test2.txt ├── src3
过以下方式获取最近一次运行结果的返回码,然后根据返回码分析并处理问题。 macOS/Linux操作系统,执行以下命令获取最近一次运行结果的返回码: echo $? Windows操作系统,执行以下命令获取最近一次运行结果的返回码: echo %errorlevel% 表1 返回码
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
资源池:专属资源池,选择创建资源中创建的ModelArts资源池。 SFS Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 图1 创建训练作业参数 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令
request) 在当前账号按照用户指定的并行文件系统名称创建一个新并行文件系统,接口支持根据用户诉求,在创建并行文件系统的同时配置并行文件系统的区域及桶的访问权限等参数。 PFSBucketAndObjectOperationSample 列举并行文件系统 obsClient.listBuc
SDK生成的日志文件路径是通过Log4Net.config配置文件指定的,一般将该配置文件放于工程编译生成的可执行文件所在目录。 日志级别 当系统出现问题需要定位且当前的日志无法满足要求时,可以通过修改日志的级别来获取更多的信息。其中DEBUG日志信息最丰富,ERROR日志信息最少。
obsutil是一款命令行工具,对于熟悉命令行的用户,obsutil能在执行批量处理、自动化任务的场景中为您带来更优体验。 本章节以Linux操作系统为例,以上传一个文件至“bucket-test”桶为例,帮助您快速通过obsutil使用OBS的基础功能,包括创建桶、上传对象、下载对象、分享对象。
同步复制示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步复制操作指导。 假设源桶bucket-src内包含如下对象: obs://bucket-src/src1/ obs://bucket-src/src1/test3.txt obs://bucket-src/src1/src2/
--trusted-host pypi.org命令执行安装。 如果您的环境尚未安装pip,请参见pip官网安装。 如果您使用的是Windows操作系统,当运行pip命令时提示“不是内部或外部命令”,请在Path环境变量中增加pip的安装目录(一般为Python所在目录的Scripts文件夹)。
求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS
恢复对象任务状态一直是恢复中 OBS Browser+中任务数量达到了百万级别及以上,系统会处于海量查找的状态中,因批量恢复的对象数量较多,browser+在这种数量级的恢复请求下,获取真实的恢复状态会很慢,实际恢复请求已经成功。建议通过服务端或者其他途径进行查询对象的实际状态,
配置SDK日志(Java SDK) OBS Java SDK基于Apache Log4j2开源库提供了日志功能,SDK默认会将WARN级别的日志记录到JDK系统变量user.dir所代表的路径下,您可以通过修改日志配置文件定制日志功能。 操作步骤 找到OBS Java SDK开发包中的log4j2
Java SDK)。 默认取值: 无 contentLanguage String 可选 参数解释: 说明访问者希望采用的语言或语言组合,以根据自己偏好的语言来定制。详情请参见HTTP协议中关于ContentLanguage的定义。 默认取值: 无 expires String 可选
Java SDK)。 默认取值: 无 contentLanguage String 可选 参数解释: 说明访问者希望采用的语言或语言组合,以根据自己偏好的语言来定制。详情请参见HTTP协议中关于ContentLanguage的定义。 默认取值: 无 expires String 可选
Java SDK)。 默认取值: 无 contentLanguage String 可选 参数解释: 说明访问者希望采用的语言或语言组合,以根据自己偏好的语言来定制。详情请参见HTTP协议中关于ContentLanguage的定义。 默认取值: 无 expires String 可选
单击“重命名”。 图1 重名对象 在弹出窗口中输入新的对象名,单击“确定”。 重命名并行文件系统中文件 您可以通过API、SDK、OBS Browser+三种方式对重命名并行文件系统中文件。 通过API重命名对象 重命名对象Java SDK 使用OBS Browser+: 登录OBS