检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何解决DNS解析失败 该问题属于网络问题,需要借助日志详情文件帮助定位。打开日志文件obssdk.log文件,查看最近日志,可看到关键报错信息如下所示: 可按照以下步骤排查解决问题: 检查本地DNS服务器是否填写有误,查看windows平台的DNS服务配置步骤如下。 在 "控制面板" 中,
配置。 当涉及多文件/文件夹时,如需确认失败任务的具体错误信息,可参考结果清单文件夹下的失败结果清单文件"rm_failed_report_时间_TaskId.txt"及日志路径下的日志文件; config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。
Content-Type用于指定Object的文件类型。内容类型决定浏览器将以什么形式、什么编码读取文件。如果没有指定文件类型,则根据文件的扩展名生成。如果文件没有扩展名,则文件类型的默认值application/octet-stream。 常见的Content-Type 常见的Content-Type(MIME)列表如下:
Content-Type用于指定Object的文件类型。内容类型决定浏览器将以什么形式、什么编码读取文件。如果没有指定文件类型,则根据文件的扩展名生成。如果文件没有扩展名,则文件类型的默认值application/octet-stream。 常见的Content-Type 常见的Content-Type(MIME)列表如下:
AllowHeader string 参数解释: 如果请求的RequestHeader满足桶的CORS规则,则返回CORS规则中的AllowedHeader。AllowedHeader是指允许的跨域请求的头域。只有匹配上允许的头域中的配置,才被视为是合法的CORS请求。 约束限制: 最多可填写一个
Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上
SDK) 功能说明 通过开启SDK日志功能,可将接口调用过程中产生的日志信息记录到日志文件,用于后续的数据分析或问题定位。您可以通过InitLog开启日志;CloseLog关闭日志并同步缓存中的日志内容到日志文件。 初始化方法 1 func InitLog(logFullPath
截断对象 功能介绍 截断对象操作是指将指定文件桶内的一个对象截断到指定大小。 目前接口仅在并行文件系统支持,创建并行文件系统的方法详见请求示例:创建并行文件系统。 请求消息样式 PUT /ObjectName?truncate&length=Length HTTP/1.1 Host:
获取桶列表(Go SDK) 功能介绍 OBS桶是对象的容器,您上传的文件都存放在桶中。调用获取桶列表接口,可列举当前账号所有地域下符合指定条件的桶。返回结果以桶名的字典序排序。 接口约束 您必须拥有obs:bucket:ListAllMyBuckets权限,才能获取桶列表。建议使
Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
user.dir所代表的路径下,您可以通过修改日志配置文件定制日志功能。 操作步骤 找到OBS Java SDK开发包中的log4j2.xml文件,或在这里获取。 根据实际情况修改log4j2.xml中的日志级别和日志存放路径。 将log4j2.xml文件放到classpath根
-bucket”)。 更多创建桶的信息,请参见管理桶。 创建桶时,如果使用的终端节点归属于默认区域华北-北京一(cn-north-1),则可以不指定区域;如果使用的终端节点归属于其他区域,则必须指定区域,且指定的区域必须与终端节点归属的区域一致。当前有效的区域名称可从这里查询。 您可
上传对象到指定桶中。在OBS中,用户操作的基本数据单元是对象。OBS Python SDK提供了丰富的对象上传接口,可以通过以下方式上传对象: 文本上传:使用字符串作为对象的数据源。 流式上传:使用包含“read”属性的可读对象作为对象的数据源。 文件上传:使用本地文件作为对象的数据源。 分段上传:对于较大文件上传,可以切分成段上传。
Content-Type用于指定Object的文件类型。内容类型决定浏览器将以什么形式、什么编码读取文件。如果没有指定文件类型,则根据文件的扩展名生成。如果文件没有扩展名,则文件类型的默认值application/octet-stream。 常见的Content-Type 常见的Content-Type(MIME)列表如下:
分段上传简介(Python SDK) 对于较大文件上传,可以切分成段上传。用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 分段上传分为如下3个步骤: 初始化分段上传任务(ObsClient
Content-Type用于指定Object的文件类型。内容类型决定浏览器将以什么形式、什么编码读取文件。如果没有指定文件类型,则根据文件的扩展名生成。如果文件没有扩展名,则文件类型的默认值application/octet-stream。 常见的Content-Type 常见的Content-Type(MIME)列表如下:
Content-Type用于指定Object的文件类型。内容类型决定浏览器将以什么形式、什么编码读取文件。如果没有指定文件类型,则根据文件的扩展名生成。如果文件没有扩展名,则文件类型的默认值application/octet-stream。 常见的Content-Type 常见的Content-Type(MIME)列表如下:
分段相关接口说明(Go SDK) 对于较大文件上传,可以切分成段上传。用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 分段上传分为如下3个步骤: 初始化分段上传任务(ObsClient
isQueryLocation bool 可选 参数解释: 是否同时查询桶的区域位置。 取值范围: True:同时查询桶的区域位置 False:不查询桶的区域位置 默认取值: False extensionHeaders dict 可选 参数解释: 接口的拓展头域。 取值范围: 参考自定义头域。 默认取值:
为指定桶打开桶日志功能,并配置日志存放的目标桶。桶日志功能开启后,桶的每次操作将会产生一条日志,并将多条日志打包成一个日志文件。日志文件存放到开启日志功能的桶中,也可以存放到其他您有权限的桶中,但需要和开启日志功能的桶在同一个region中。您还可以根据需要配置日志文件的访问权限,以及日志文件的文件名前缀。