检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败“,说明连接超时。 出现这类异常的原因一般是服务地址(Endpoint)错误或网络不通导致无法连接OBS服务,此时请检查服务地址和网络状况。 父主题: 异常处理
是否支持同步删除文件 不支持。 当前obsutil工具支持同步上传本地目录到OBS桶中,同步成功后,如果用户删除了本地目录下的部分文件,再次进行增量同步上传时,工具将只会检查本地存在的文件是否需要增量进行上传,无法感知已删除文件是否需要在目标桶内进行删除。 需要注意的是,如果在上
和读取静态数据。 建议搭配服务 内容分发网络 CDN,弹性云服务器 ECS 图2 静态网站托管 在线视频点播 场景描述 OBS提供高并发、高可靠、低时延、低成本的海量存储系统,结合媒体处理MPC、内容审核Moderation和内容分发网络CDN可快速搭建极速、安全、高可用的视频在线点播平台。
分段上传场景化示例(Java SDK) 分段上传的主要目的是解决大文件上传或网络条件较差的情况。 通过使用UploadPartRequest.setOffset和UploadPartRequest.setPartSize来设置每段的起始结束位置。 下面的示例代码展示了如何使用分段上传并发上传大文件。
在ECS/BMS中通过网络协议挂载使用,支持NFS和CIFS的网络协议。需要指定网络地址进行访问,也可以将网络地址映射为本地目录后进行访问。 使用场景 如大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等。 如高性能计算、企业核心集群应用、企业应用系统和开发测试等。 说明:
建桶。 登录控制台,进入创建桶页面。 设置“基础配置”。 参数 示例 说明 区域 华北-北京四 桶所属区域。请选择靠近您业务的区域,以降低网络时延,提高访问速度。 桶创建成功后,不支持变更区域,请谨慎选择。 设置“桶配置”。其他参数保持默认,也可在桶创建后修改。 参数 示例 说明
th环境变量中增加npm的安装目录(一般为Node.js的安装目录)。 您可能需要重启电脑使环境变量生效。 如果您使用npm安装依赖时出现网络错误,请使用代理。 父主题: 快速入门
在Windows ECS上使用OBS Browser+通过内网访问OBS OBS Browser+是一款用于访问和管理对象存储服务的图形化工具,支持通过配置内网DNS服务器地址的方式,使在华为云上的Windows ECS通过内网直接访问OBS,下面将介绍具体操作流程和操作步骤。 OBS
流出流量费用。 不同场景产生的流量类型如下: 用户在控制台执行对象下载和其他查询类操作(列举对象、获取桶或对象的元数据等),或者在公网使用工具、SDK不经过CDN直接下载对象都会产生公网流出流量。 直接访问OBS桶的访问域名,会产生公网流出流量。 访问CDN加速域名,CDN上源站
成基本的数据存取操作,具体操作流程如图1所示。 图1 obsutil快速使用流程 前提条件 已获取到obsutil工具,并完成了初始化配置。 已进入obsutil工具所在目录。 操作步骤 运行./obsutil mb obs://bucket-test -location=cn-
对于较大文件上传,可以切分成段上传。用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 分段上传分为如下3个步骤: 初始化分段上传任务(ObsClient
obsutil简介 obsutil是一款用于访问管理华为云对象存储服务(Object Storage Service,OBS)的命令行工具,您可以使用该工具对OBS进行常用的配置管理操作,如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。对于熟悉命令行程序的用户,obs
下载并安装obsfs obsfs工具于2024年7月1日下线,下线后OBS不再对此工具提供维护和客户支持服务,请使用s3fs将OBS对象桶挂载至Linux系统,给您带来不便敬请谅解。如有问题请提交工单寻求技术支持。 配置运行环境 obsfs的运行环境依赖openssl-devel
开始图片处理(API接口) 使用流程 OBS提供了REST接口。REST从资源的角度来观察整个网络,分布在各处的资源由URI(Uniform Resource Identifier)确定,而客户端的应用通过URL(Unified Resource Locator)来获取资源。UR
清理碎片 使用场景 桶中不完整的数据称之为碎片。OBS采用分段上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 上传失败而产生的碎片会存
查看版本号 功能说明 查看工具当前的版本号。 命令结构 Windows操作系统 obsutil version macOS/Linux操作系统 ./obsutil version 运行示例 以Windows操作系统为例。运行示例如下: obsutil version obsutil
8TB。 OBS Browser+最多同时一次上传500个文件,obsutil没有上传文件数量限制。 检查本地与OBS的网络是否正常,如果存在网络故障,解决网络故障,确保网络正常。 上传对象时弹出“Service Unavailable”的错误提示,则可能是因为当前服务器繁忙,请稍后重试。
可以使用本地磁盘作为缓存提高IO性能。 约束与限制 s3fs不支持挂载并行文件系统。 随机写或追加写文件场景需要重写整个文件,会有带宽浪费。 由于网络延迟,元数据操作(如列举目录)性能较差。 不支持文件或目录的原子性重命名。 支持挂载到多台云服务器,但数据一致性需由您自行维护,避免出现多台云服务器同时对一个文件并发写入的情况。
无需部署外部迁移工具 训练任务开始前将数据从OBS导入到SFS Turbo,训练过程中写入到SFS Turbo的Checkpoint数据异步导出到OBS,均不占用训练任务时长。 SFS Turbo和OBS存储服务之间数据直接导入导出,无需部署外部数据拷贝机器及工具。 4 冷热数据自动流动,降低存储成本
将obsutil设为系统内置命令 操作场景 作为外部软件,obsutil命令需要进入obsutil工具所在目录后方可运行,易用性较差。 操作系统提供内置命令,在系统启动时就将依赖的目录调入内存,这样在任意目录下都可以运行命令,提高工具易用性。 本章根据不同操作系统,分别介绍如何将obsutil设置为系统内置命令。