检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Windows操作系统下,下载对象时发现本地和云上对象数量不一致 如果发现下载后本地文件和文件夹数量之和小于云上对象数量(OBS不区分文件或文件夹,统称为对象),并且当前操作系统是Windows,这个是因为Windows文件系统将文件和目录名称视为不区分大小写,FOO.txt和foo
签名计算工具 OBS提供可视化签名计算工具,帮助您轻松完成签名计算。 表1 签名计算工具 签名计算方式 签名计算工具获取地址 Header中携带签名 可视化签名计算工具 URL中携带签名 可视化签名计算工具 工具使用步骤 本节介绍如何使用工具计算签名 使用工具计算Header中携带的签名
Service,OBS)提供的一种经过优化的高性能文件语义系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载,主要应用于大数据场景。 并行文件系统的详细介绍和使用说明,请参见并行文件系统。 父主题: 基本概念
支持的大数据平台简介 华为云大数据存算分离方案中,OBS支持与多种大数据平台对接,包括华为云MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(M
Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。 作为对象存储服务的子产品,并行文件系统支持用户按照标准的OBS接口读取数据。也支持通过部署在弹性云服务器中的PFS客
存储时间按照数据在OBS中存储的实际天数计算。 存储单个对象小于64KB按64KB计算,大于64KB按实际大小计算。 按需计费 包年包月 低频访问存储数据容量 OBS中存储的低频访问存储数据所占用的存储空间容量,区分单AZ存储和多AZ存储。了解单AZ和多AZ的区别 存储时间小于30天按30天计算,大于30天
存储时间按照数据在OBS中存储的实际天数计算。 存储单个对象小于64KB按64KB计算,大于64KB按实际大小计算。 低频访问存储数据容量 OBS中存储的低频访问存储数据所占用的存储空间容量,区分单AZ存储和多AZ存储。了解单AZ和多AZ的区别 存储时间小于30天按30天计算,大于30天按实际天数计算。早于30
取消挂载并行文件系统 如果不再需要通过挂载方式访问OBS并行文件系统,或者需要对已挂载并行文件系统进行参数新增、修改或删除时,可以取消挂载并行文件系统。 取消挂载并行文件系统不会影响已保存至并行文件系统中的数据。 前提条件 待取消挂载的并行文件系统目前处于挂载状态。 操作步骤 打开命令行终端。
以上传对象为例,对一个对象或者段的每一次操作都会计算一次请求次数。假设上传一个拥有100个对象的文件夹: 在都使用PutObject方式上传的情况下,会发送100次PUT请求,计算100次请求次数。 如果其中有一些大对象需要分段上传,则会根据分成的段数额外计算分段上传的请求次数,此外还会有初始
对IAM用户组授予OBS所有资源的基本操作权限 场景介绍 本案例介绍如何通过IAM预置的与OBS相关的系统角色和策略,为华为云账号下的多个IAM用户或用户群组授予OBS所有资源的基本操作权限。预置的系统角色和策略所支持的权限如下表所示。 表1 OBS系统权限 系统角色/策略名称 描述
标准存储->低频访问存储 存储费用 转换为低频访问存储后,按低频访问存储计算存储费用。 标准存储->归档存储 存储费用 转换为归档存储后,按归档存储计算存储费用。 低频访问存储->归档存储 存储费用 转换为归档存储后,按归档存储计算存储费用。 当低频访问存储早于30天转换为归档存储,需要补足剩余天数的低频存储费用。
专属对象存储 专属云 专属云(Dedicated Cloud)是面向企业、政府、金融等客户,提供计算、存储资源池以及网络、管控多级隔离的综合解决方案。租户独享专属资源池,与公共租户资源物理隔离,满足特定性能、应用及安全合规等要求,为客户提供可靠、便捷的云上“头等舱”。 专属对象存储
义,为大数据计算提供了更好的性能。 基于上述优势,华为云存算分离大数据方案相比传统大数据方案,在同样的业务规模下所使用的计算资源、存储资源以及服务器数量都会有明显下降,同时资源利用率也能得到显著提升,可帮助企业降低业务综合成本。 文档使用范围 本最佳实践主要提供华为云大数据存算分
对象的存储类型。 MD5 对象真实的MD5值。 说明: 仅当使用cp命令并且配置了-vmd5选项上传对象后,才能查询到该值。 ETag 服务端计算的对象ETag值。 ContentType 对象的Content-Type。 Type 对象的类型。 Metadata 对象的自定义元数据。
obs.endpoint 无 是 华为云OBS的终端节点(Endpoint)。 fs.obs.access.key 无 是 华为云的AK(Access Key Id),需要具备访问OBS对应桶的权限。 fs.obs.secret.key 无 是 华为云的SK(Secret Access
子、结合请求体携带的特定信息计算而成。计算签名的过程已经包含在SDK中,使用者只需将访问密钥在SDK初始化阶段设置好即可,无需关心签名计算的具体实现。但是,如果客户端选择通过REST API自行开发程序对接OBS,则需要按照OBS定义的签名算法来计算签名并添加到请求中。 用户可以
x)占总请求的百分比,计算方式: (1-5XX数量/总请求数量)*100% 单位:% ≥ 0,≤100 用户 桶 接口 域名 1分钟 effective_request_rate 有效请求率 该指标用于衡量客户端请求的有效性。有效请求占总请求数的百分比,计算方式: (客户端返回2
求给服务端,并接收响应消息。cURL适用于接口调试。关于cURL详细信息请参见https://curl.haxx.se/。由于cURL无法计算签名,使用cURL时仅支持访问匿名的公共OBS资源。 编码 通过编码调用接口,组装请求消息,并发送处理请求消息。可以使用SDK或自行编码实现。
添加桶 桶是OBS中存储对象的容器。您需要先创建一个桶,然后才能在OBS中存储数据。 一个账号及账号下的所有IAM用户可创建的桶+并行文件系统的上限为100个。建议结合OBS细粒度权限控制能力,合理进行桶规划和使用。例如,建议在桶内根据对象前缀划分不同的目录,通过细粒度权限控制实
以上传对象为例,对一个对象或者段的每一次操作都会计算一次请求次数。假设上传100个对象到桶: 在都使用PutObject方式上传的情况下,会发送100次PUT类请求,计算100次请求次数。 如果其中有一些大对象需要分段上传,则会根据分成的段数额外计算分段上传的请求次数,此外还会有初始化段、