检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传对象-断点续传上传(Go SDK) 功能说明 对分段上传的封装和加强,解决上传大文件时由于网络不稳定或程序崩溃导致上传失败的问题。其原理是将待上传的文件分成若干个分段分别上传,并实时地将每段上传结果统一记录在checkpoint文件中,仅当所有分段都上传成功时返回上传成功的结果,否则返回错误信息
选填,启用后,可以通过设置样式内容获取更加灵活多样的图片处理结果。具体操作请参见创建图片样式。 请谨慎开启“更多选项 > 清理服务器存储”功能。 开启“清理服务器存储”后,上传至媒体库的图片和其他附件在上传到OBS后会在本地删除,因此在停用插件后,无法利用本地数据做恢复和替换。 单击“保存配置”,完成配置。
多段相关接口说明(Node.js SDK) 对于较大文件上传,可以切分成段上传。用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 分段上传分为如下3个步骤: 初始化分段上传任务。
可以利用obsfs工具将创建的并行文件系统挂载到云端Linux服务器上,并能像操作本地文件系统一样对并行文件系统内的文件和目录进行在线处理。 发布区域:全部 并行文件系统特性指南 OBS 3.0支持 图片处理 图片处理特性(Image Processing)是OBS为用户提供的稳
设置对象过期时间(Python SDK) 本示例用于上传文件流时通过header设置对象过期时间 obsClient = ObsClient(access_key_id=ak, secret_access_key=sk, server=server) try: # 读取文件流 content =
名。 当您使用桶默认域名访问桶中的文件时,会变为强制下载,无法在线预览。如果您不希望暴露桶的默认域名或希望在浏览器中可以在线预览文件,那么可以为桶绑定自定义域名,通过自定义域名访问桶中的文件;除此之外,如果您还希望通过自定义域名加速访问桶中的文件,您可以为桶绑定CDN加速域名。 桶的自定义域名
final String objectPre = "object/"; // 待上传的文件夹,文件夹路径示例:/storage/emulated/0/Pictures,请保证文件夹下面待上传的文件是符合预期的。 // 获取路径方式示例:final String localDirPath
SDK提供了丰富的对象上传接口,可以通过以下方式上传对象: 文本上传 流式上传 文件上传 分段上传 基于表单上传 SDK支持上传0KB~5GB的对象。流式上传和文件上传的内容大小不能超过5GB;当上传较大文件时,请使用分段上传,分段上传每段内容大小不能超过5GB;基于表单上传提供了基于浏览器表单上传对象的方式。
个分段分别下载,并实时地将每段下载结果统一记录在checkpoint文件中,仅当所有分段都下载成功时返回下载成功的结果,否则返回错误信息提醒用户再次调用接口进行重新下载(重新下载时因为有checkpoint文件记录当前的下载进度,避免重新下载所有分段,从而节省资源提高效率)。 您
日志功能默认是关闭的,需要主动开启。 日志默认首先写入缓存(累积一定量后再写入文件),程序退出前调用obs.CloseLog()可同步缓存中的日志内容到日志文件。 日志内容格式 SDK日志格式为:日志时间|打印日志所在的文件:行号|日志级别|日志内容。示例如下: 2018/03/13 16:21:50
obsutil对大于50MB的文件/对象默认采用分段方式进行上传、下载和复制,与分段任务相关的参数在.obsutilconfig配置文件中,如表1所示。 表1 多段参数 参数 描述 defaultBigfileThreshold 开启分段任务的阈值,如果待上传/下载/复制的文件大于该阈值,则采
SDK上传超过5GB的大文件失败? PUT上传和POST上传有什么区别? OBS如何进行签名计算和验证? Java中如何使用URL进行授权访问? 更多 内网访问OBS 在Windows ECS上使用OBS Browser通过内网访问OBS 在Linux ECS上使用obsutil通过内网访问OBS
错误原因,可以通过查看对应任务的失败结果清单文件及obsutil的日志文件进行确认。 批量任务执行完成后会输出taskID信息,根据taskID信息即可在.obsutil_output目录下查询到对应失败任务清单文件,失败结果清单文件命名规则如:cp_{failed}_report_时间_TaskId
重命名对象 功能介绍 重命名对象操作是指将指定文件桶内的一个对象重命名为其他对象名。 目前接口仅在并行文件系统支持,创建并行文件系统的方法详见请求示例:创建并行文件系统。重命名对象操作为非幂等操作。 请求消息样式 POST /ObjectName?name=Name&rename
在弹出的“基本信息”界面中查看桶的基本信息,如图1所示。 图1 桶的基本信息 表1 参数说明 参数 说明 桶名称 桶的名称 桶类型 对象存储 还是 并行文件系统。 区域 桶所在的区域。 存储类别 桶的存储类别,有标准存储、低频访问存储、归档存储三种类别。 桶版本号 桶的版本号。 存储用量 桶中存储的对象占用的存储空间。
参数类型 是否必选 描述 logFullPath string 必选 日志文件的全路径。 maxLogSize int64 必选 日志文件大小,单位:字节。 backups int 必选 最大可保留的日志文件个数。 level Level 必选 日志级别。 logToConsole
dir所代表的路径下,您可以通过修改日志配置文件定制日志功能。 操作步骤 找到OBS Java SDK开发包中的log4j2.xml文件,或在这里获取。 根据实际情况修改log4j2.xml中的日志级别和日志存放路径。 将log4j2.xml文件放到classpath根目录,或者调用Log4j2Configurator
足高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS
截断对象 功能介绍 截断对象操作是指将指定文件桶内的一个对象截断到指定大小。 目前接口仅在并行文件系统支持,创建并行文件系统的方法详见请求示例:创建并行文件系统。 请求消息样式 PUT /ObjectName?truncate&length=Length HTTP/1.1 Host:
按https://桶名.域名/文件夹目录层级/对象名的方式进行拼接。 如果该对象存在于桶的根目录下,则链接地址将不需要有文件夹目录层级。 各区域对应的域名可以从这里的终端节点查看。 例如需访问区域为“华北-北京四”的桶名为“testbucket”中“test”文件夹下对象名为“test.