检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载示例 本章节案例中的所有命令均以Linux操作系统为例,提供下载操作指导。 假设bucket-test桶内包含如下对象: obs://bucket-test/test1.txt obs://bucket-test/test2.txt obs://bucket-test/test3
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。
通过Nginx反向代理访问OBS 应用场景 一般情况下,用户会通过OBS提供的桶访问域名(例如https://bucketname.obs.cn-north-4.myhuaweicloud.com)或者绑定的自定义域名来访问OBS。 但在某些场景下,用户需要通过固定的IP地址访问
基本概念 对象 桶 并行文件系统 专属对象存储 访问密钥(AK/SK) 终端节点(Endpoint)和访问域名 区域和可用区
如何购买对象存储服务? 对象存储服务提供按需计费和包年包月两种计费模式。用户可以根据实际需求购买OBS服务。 OBS开通时,默认按照按需计费(使用量按小时计费),同时也支持包年包月(资源包)的方式提前购买使用额度和时长,获取更多的优惠。您可以单击“产品价格详情”查看计费标准。 前提条件
如何获取账号ID和用户ID?(Harmony SDK) 获取账号、IAM用户、项目的名称和ID 从控制台获取账号名、账号ID、用户名、用户ID、项目名称、项目ID 在华为云首页右上角,单击“控制台”。 在右上角的用户名中选择“我的凭证”。 图1 进入我的凭证 在“我的凭证”界面,
获取账号、IAM用户、项目、用户组、区域、委托的名称和ID 获取账号、IAM用户、项目的名称和ID 从控制台获取账号名、账号ID、用户名、用户ID、项目名称、项目ID 在华为云首页右上角,单击“控制台”。 在右上角的用户名中选择“我的凭证”。 图1 进入我的凭证 在“我的凭证”界
如何获取账号ID和用户ID?(Python SDK) 获取账号、IAM用户、项目的名称和ID 从控制台获取账号名、账号ID、用户名、用户ID、项目名称、项目ID 在华为云首页右上角,单击“控制台”。 在右上角的用户名中选择“我的凭证”。 图1 进入我的凭证 在“我的凭证”界面,A
如何获取账号ID和用户ID? 获取账号、IAM用户、项目的名称和ID 从控制台获取账号名、账号ID、用户名、用户ID、项目名称、项目ID 在华为云首页右上角,单击“控制台”。 在右上角的用户名中选择“我的凭证”。 图1 进入我的凭证 在“我的凭证”界面,API凭证页签中,查看账号
如何获取账号ID和用户ID? 获取账号、IAM用户、项目的名称和ID 从控制台获取账号名、账号ID、用户名、用户ID、项目名称、项目ID 在华为云首页右上角,单击“控制台”。 在右上角的用户名中选择“我的凭证”。 图1 进入我的凭证 在“我的凭证”界面,API凭证页签中,查看账号
OBS服务端错误码(Java SDK) 在向OBS服务端发出请求后,如果遇到错误,会在响应中包含响应的错误码描述错误信息。详细的错误码及其对应的描述和HTTP状态码见下表: HTTP状态码 错误码 错误信息 处理措施 301 Moved Permanently PermanentRedirect
挂载外部桶 挂载外部桶可以使您在本地对其他的桶进行访问。本节介绍挂载外部桶以及配置方法。 挂载外部桶简介 配置挂载外部桶 父主题: 桶的高级配置
OBS服务环境搭建 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 注册云服务账号 使用OBS之前必须要有一个云服务账号。 打开浏览器。 登录公有云网站www.huaweicloud
使用前须知 本文介绍.NET SDK的版本变更,并提供版本兼容性说明,以及其他使用前须知。 变更说明 如表1所示,本节将为您展示.NET SDK的版本变更情况和兼容性说明。 表1 .NET SDK版本变更及兼容性说明 版本 变更类型 说明 是否兼容 v3.22.11.4 - 在NuGet中提供
追加写对象 使用场景 流式上传、表单上传、多段上传在上传结束之后内容是固定的,只能读取,不能修改。如果Object内容发生了改变,只能重新上传同名的Object来覆盖之前的内容。 对于上传日志、视频监控和视频直播等领域生成的实时视频流,使用以上上传方式,会存在软件架构复杂、客户端
设置桶的生命周期配置 功能介绍 OBS系统支持指定规则来实现定时删除或迁移桶中对象,这就是生命周期配置。典型的应用场景如: 周期性上传的日志文件,可能只需要保留一个星期或一个月,到期后要删除它们。 某些文档在一段时间内经常访问,但是超过一定时间后就可能不会再访问了。这种文档您可能会先选择归档,然后在一定时间后删除。
如何获取账号ID和用户ID?(Node.js SDK) 获取账号、IAM用户、项目的名称和ID 从控制台获取账号名、账号ID、用户名、用户ID、项目名称、项目ID 在华为云首页右上角,单击“控制台”。 在右上角的用户名中选择“我的凭证”。 图1 进入我的凭证 在“我的凭证”界面,
图片处理 如何通过URL访问图片处理服务? 设置CDN加速后,处理过的图片存储在哪里? 设置桶日志后,进行图片处理,发现有100网段的ip访问桶 图片处理如何收费? 每个桶支持创建多少个图片样式?
上传示例 本章节案例中的所有命令均以Linux操作系统为例,提供上传操作指导。 假设本地文件夹的格式如下: └── src1 ├── src2 ├── test1.txt └── test2.txt ├── src3 └──
Hortonworks HDP对接OBS 部署视图 安装版本 硬件:1master+3core(配置:8U32G,操作系统:CentOS 7.5) 软件:Ambari:2.7.1.0,HDP:3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。