检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
流式上传使用resource或GuzzleHttp\Psr7\StreamInterface作为对象的数据源。以下代码展示了如何进行流式上传: 上传网络流 // 引入依赖库 require 'vendor/autoload.php'; // 使用源码安装时引入SDK代码库 // require
敏感操作保护 在线解压 WORM 资源包升配 双端固定 上传回调 工具 OBS 2.0/3.0支持 OBS提供OBS Browser+、obsutil、obsfs等多种实用工具,满足不同场景下数据迁移和数据管理需求。 您可以通过上述工具,轻松完成OBS资源管理,包括:OBS桶创建,并行文件系统挂载,对象上传下载等。
大数据场景,建议使用obsa的方式对接OBS并行文件系统,详见 OBS工具 其他OBS工具 并行文件系统实现了对象和文件的互通,因此您可以使用OBS提供的其他工具来使用并行文件系统,例如:obsutil,OBS Browser+等。 OBS工具 并行文件系统计费标准 并行文件系统同时支持按需计费和
片处理参数对图片进行处理,例如剪切、压缩,并且可以获取到使用图片样式或经过参数处理的新图片URL。处理后的图片可以根据用户需求放入内容分发网络(Content Delivery Network,CDN)加速,后续请求可以直接从CDN下载。图片处理特性架构如图1所示。 图1 图片处理架构
常见问题 同一个并行文件系统可以挂载至多个客户端吗? 可以。 同一个客户端可以挂载多个并行文件系统吗? 可以,且每一个挂载进程都是独立的。 obsfs挂载到华为云服务器ECS上时占用OBS流量还是云服务器ECS的流量? 该情况下占用OBS流量,不占用华为云服务器ECS的流量。 挂载的并行文件系统如何让其他用户访问?
复制示例 本章节案例中的所有命令均以Linux操作系统为例,提供复制操作指导。 假设bucket-src桶内包含如下对象: obs://bucket-src/test1.txt obs://bucket-src/test2.txt obs://bucket-src/test3.txt
结果清单 配置结果清单 批量任务执行完成后,会生成结果清单文件,默认情况下结果清单文件保存在运行obsutil命令的用户目录的子文件夹.obsutil_output下,用户可以通过在运行命令时指定-o附加参数来指定保存结果清单文件的文件夹。 查看结果清单 结果清单文件包含三种类型
准备环境 使用obsutil前您需要执行注册云服务账号、开通OBS服务以及获取访问密钥(AK和SK)等环境准备操作。 注册云服务账号 使用OBS之前必须要有一个云服务账号。 打开浏览器。 登录公有云网站www.huaweicloud.com。 在页面右上角单击“注册”。 按需填写注册信息并单击“同意协议并注册”。
上传示例 本章节案例中的所有命令均以Linux操作系统为例,提供上传操作指导。 假设本地文件夹的格式如下: └── src1 ├── src2 ├── test1.txt └── test2.txt ├── src3 └──
java:241) 此类错误一般有两种原因: 客户端到OBS服务端的网络时延过大,解决方法:检查客户端到OBS服务端的网络健康状况; 客户端到OBS服务端的网络异常,导致无法访问,解决方法:检查客户端到OBS服务端的网络健康状况。 异常返回值为-1 1 HTTP Code: -1 此类错误一般有三种原因:
下载示例 本章节案例中的所有命令均以Linux操作系统为例,提供下载操作指导。 假设bucket-test桶内包含如下对象: obs://bucket-test/test1.txt obs://bucket-test/test2.txt obs://bucket-test/test3
} } 运行以上示例代码,设置自定义元数据property1和用户头域property2、x-obs-meta-property3后,网络抓包HTTP协议的头域如下图所示: 代码示例:删除对象自定义元数据 如果需要删除某些自定义元数据,在调用设置对象元数据接口时,把需要保留的
权限是否授权给使用的用户。请通过桶策略、桶ACL、对象策略和对象ACL共同检查。如果用户无对象的访问权限,请授权。 您可以通过以下工具授权权限: 工具 配置方法 管理控制台 桶ACL、桶策略、对象ACL、对象策略 OBS Browser+ - obsutil 设置桶属性、设置对象属性
资源准备 使用obsfs之前,您需要完成如表1所示的资源准备。 表1 资源准备 资源项 说明 操作指导 华为账号 账号是您访问华为云的主体,可以管理IAM用户、访问密钥及OBS并行文件系统等obsfs需要的资源,使用obsfs之前,您需要拥有一个已成功开通OBS的账号。 注册华为账号并开通华为云
是否支持统计文件夹内的文件数目及大小 OBS Browser+不支持统计文件夹内的文件数目及大小,可以使用obsutil列举对象命令,指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例,运行./obsutil ls obs://bucket-test/test/ -du
如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据导入导出,您可借助外部工具将数据从OBS迁移到SFS Turbo中,操作指导请参考OBS和SFS之间的数据迁移,推荐使用obsutil工具。 父主题: 训练
同步复制示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步复制操作指导。 假设源桶bucket-src内包含如下对象: obs://bucket-src/src1/ obs://bucket-src/src1/test3.txt obs://bucket-src/src1/src2/
创建桶 功能说明 按照用户指定的桶名创建一个新桶。新创建桶的桶名在OBS中必须是唯一的。一个用户可以拥有的桶的数量不能超过100个。 如果是同一个用户在同一区域的重复创建同名桶不会报错,返回HTTP状态码200,创建的桶属性以第一次请求为准。除此以外的其他场景重复创建同名桶返回HTTP状态码409,表明桶已存在。
同步上传示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步上传操作指导。 假设本地文件夹的格式如下: └── src1 ├── src2 ├── test1.txt └── test2.txt ├── src3
同步下载示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步下载操作指导。 假设bucket-test桶内包含如下对象: obs://bucket-test/src1/ obs://bucket-test/src1/test3.txt obs://bucket-test/src1/src2/