检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果希望将对象限时对外开放供所有人查阅,可以通过对象的分享功能实现。 文件分享方法 在OBS管理控制台左侧导航栏选择“桶列表”。 在桶列表单击目标桶的桶名称,进入“对象”页面。 选中待分享的文件,并单击右侧操作列的“分享”。 此时,链接信息中的链接就已经生效并开始计时,有效期为默认的5分钟。修改URL有效期
S实现的HDFS协议不支持租约Lease机制(并发写同一个文件时将产生不可确定的状态),所以在flume场景下可以通过文件命名规则进行解决。 如sink文件的命名规则:hostname-sinkname作为文件的前缀,如果一个主机上部署了多个flume agent,不同的agent要有不同的sinkname。
采用obsutil进行文件上传下载,如果通过公网,受公网带宽限制;如果通过内网,受网卡、磁盘IO及是否有其它进程抢占资源的限制。 如果出现上传下载速度慢的问题,可参考以下方法排查处理: 检查网络。 ping同区域的OBS终端节点(Endpoint),例如ping obs.cn-north-1.myhuaweicloud
count 失败的任务数。 Skip count 增量上传/下载/复制、同步上传/下载/复制跳过的任务数。 说明: 跳过的任务数也会记录到成功的任务数中。 Warning count 执行完成但包含警告的任务数。 说明: 产生警告的任务可能是失败的也可能是成功的,需要根据成功或失败的结果清单进一步判断。
Service,OBS)提供的一种经过优化的高性能文件语义系统,旨在为基于对象存储服务作为统一数据湖存储的大数据场景提供解决方案。并行文件系统提供毫秒级别访问时延、TB/s级别带宽和百万级别的IOPS、高兼容性、高性能、高可扩展性、高可靠性的能力。 与对象桶的结构不同,并行文件系统访问路径中的每级目录
修改写对象 功能介绍 修改写对象操作是指将指定文件桶内的一个对象从指定位置起修改为其他内容。 目前接口仅在并行文件系统支持,创建并行文件系统的方法详见请求示例:创建并行文件系统。 请求消息样式 PUT /ObjectName?modify&position=Position HTTP/1
个接口的参数和使用方法。 OBS为用户提供了稳定、安全、高效、易用、低成本的图片处理服务。当要下载的对象是图片文件时,您可以通过传入图片处理参数对图片文件进行图片剪切、图片缩放、图片水印、格式转换等处理。 更多关于图片处理的内容,参见图片处理特性指南。 以下代码展示了如何使用下载对象接口实现图片处理:
之间进行大规模数据复制的工具,它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝。 配置指南 参考Hadoop对接OBS中hadoop-huaweicloud的安装和配置方法,完成OBS相关配置。
└── test3.txt 基于以上文件夹格式,不同上传场景的命令示例如下: 上传本地src1文件夹下的test3.txt文件至bucket-test桶的根目录,命令如下: ./obsutil cp /src1/test3.txt obs://bucket-test 成功上传后,桶内生成对象为:
// 开启日志 [client setASLogOn]; 日志级别 当系统出现问题需要定位且当前的日志无法满足要求时,可以通过修改日志的级别来获取更多的信息。其中OBSDDLogLevelVerbose日志信息最丰富,OBSDDLogLevelError日志信息最
ssue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 除了桶访问权限外,桶的拥有者还可以通过桶策略,提供对桶和桶内对象的集中访问控制。 更多关于桶策略的内容请参考桶策略。 设置桶策略 您可以通过ObsClient->setBucketPolicy设置桶策略。示例代码如下:
每个接口的参数和使用方法。 如果只需要下载对象的其中一部分数据,可以使用范围下载,下载指定范围的数据。如果指定的下载范围是0~1000,则返回第0到第1000个字节的数据,包括第1000个,共1001字节的数据,即[0, 1000]。如果指定的范围无效,则返回整个对象的数据。以下代码展示了如何进行范围下载:
count 失败的任务数。 Skip count 增量上传/下载/复制、同步上传/下载/复制跳过的任务数。 说明: 跳过的任务数也会记录到成功的任务数中。 Warning count 执行完成但包含警告的任务数。 说明: 产生警告的任务可能是失败的也可能是成功的,需要根据成功或失败的结果清单进一步判断。
tVersionTagging权限。缺省情况下只有对象的所有者可以执行此操作,也可以通过设置桶策略或用户策略给其他用户。 默认获取Object当前版本的标签信息。可以通过指定versionId参数来获取指定Object版本的标签信息。如果对应版本为删除标记(Delete Marker),则OBS将返回404
tVersionTagging权限。缺省情况下只有对象的所有者可以执行此操作,也可以通过设置桶策略或用户策略给其他用户。 默认删除Object当前版本的标签信息。可以通过指定versionId参数来删除指定Object版本的标签信息。如果对应版本为删除标记(Delete Marker),则OBS将返回404
每个接口的参数和使用方法。 OBS为用户提供了稳定、安全、高效、易用、低成本的图片处理服务。当要下载的对象是图片文件时,您可以通过传入图片处理参数对图片文件进行图片剪切、图片缩放、图片水印、格式转换等处理。 以下代码展示了如何使用下载对象接口实现图片处理: // 认证用的ak和s
会调用其他的OBS接口。如果授予的权限中没有包含这些接口,则会提示“拒绝访问,请检查相应权限”,或者“不允许在请求的资源上执行此操作”。 例如桶概览页面会通过接口查看桶的生命周期规则、CORS规则等是否已经配置,如图1,而预置的系统权限并未包含这些操作权限。 图1 桶的基础配置 解决方法
象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS允许您对桶配置不同的存储类型,桶中对象的存储类型默认将与桶的存储类型保持一致。不同的存储类型可以满足客户业务对存储性能、成本的不同诉求。桶的存储类型分为三类,见下表: 类型 说明 OBS BrowserJS
示了如何获取对象属性: // 创建ObsClient实例 var obsClient = new ObsClient({ // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保
图1 校验上传对象的一致性 下载对象时,OBS会将对象已有的MD5值与根据下载的对象内容计算出来的MD5值进行对比,如果对比结果一致,对象下载成功,否则下载失败。使用MD5值对下载数据进行一致性校验的示意图如图2所示。 图2 校验下载对象的一致性 校验上传对象的一致性 obsutil、OBS