检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果已完成任务数量大于20万条,则系统会按照任务创建时间先后顺序查询10万条较早创建的数据,迁移到OBS Browser解压路径下history目录中,以historyDBData[时间戳].csv格式保存,如:historyDBData20170426T063744.csv。
您可以通过create_bucket或create_bucket_with_params创建一个对象桶,通过create_pfs_bucket创建一个并行文件系统的桶。 参数描述 字段名 类型 约束 说明 option 请求桶的上下文,配置option 必选 桶参数。
525]: http request cost 97 ms [2017-11-17 11:46:24][INFO][SendRequestTrait.php:538]: obsclient cost 155 ms to execute createBucketAsync 日志级别 当系统出现问题需要定位且当前的日志无法满足要求时
上传示例 本章节案例中的所有命令均以Linux操作系统为例,提供上传操作指导。
service start 2018/2/11 下午9:22:45|info|ListObjects|http cost 19 ms 2018/2/11 下午9:22:45|info|ListObjects|get response start, statusCode:200 日志级别 当系统出现问题需要定位且当前的日志无法满足要求时
INFO |ListBuckets|2017-10-12 10:21:05|http cost 34 ms|0| 2017/10/12 10:21:05 716|INFO |ListBuckets|get response start, statusCode:200 日志级别 当系统出现问题需要定位且当前的日志无法满足要求时
以下是对AK和SK的解释说明: AK:Access Key ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。对象存储服务系统通过接入键标识识别访问系统的用户。
在并行文件系统列表中,单击目标并行文件系统。 在文件列表中,单击需要重命名文件操作列的。 单击“重命名”。 在弹出窗口中输入新的文件名,单击“确定”。 父主题: 桶和对象相关
使用OBS Browser上传文件夹,其中某个文件在上传完成后,操作系统返回IO状态异常,上传进度一直显示99.99%。 使用OBS Browser上传大文件,进度条没有反应,状态一直是“等待中”。
同步复制示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步复制操作指导。
将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。
日志级别 当系统出现问题需要定位且当前的日志无法满足要求时,可以通过修改日志的级别来获取更多的信息。其中DEBUG日志信息最丰富,ERROR日志信息最少。 具体说明如下: DEBUG:调试级别。 INFO:信息级别。 WARN:告警级别。 ERROR:错误级别。
配置SDK日志(Java SDK) OBS Java SDK基于Apache Log4j2开源库提供了日志功能,SDK默认会将WARN级别的日志记录到JDK系统变量user.dir所代表的路径下,您可以通过修改日志配置文件定制日志功能。
如果您使用的是Windows操作系统,当运行pip命令时提示“不是内部或外部命令”,请在Path环境变量中增加pip的安装目录(一般为Python所在目录的Scripts文件夹)。 您可能需要重启电脑使环境变量生效。
以下是对AK和SK的解释说明: AK:Access Key ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。对象存储服务系统通过接入键标识识别访问系统的用户。
创建桶 桶是OBS全局命名空间,相当于数据的容器、文件系统的根目录,可以存储若干对象。
须知: 建议使用引号传递该匹配模式(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。
同步上传示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步上传操作指导。
macOS/Linux操作系统,执行以下命令获取最近一次运行结果的返回码: echo $? Windows操作系统,执行以下命令获取最近一次运行结果的返回码: echo %errorlevel% 表1 返回码 返回码 含义 常见场景举例 0 执行成功 上传对象成功。
SFS Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 图1 创建训练作业参数 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。