正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
型计算存储费用。 通过CDN加速访问OBS 通过华为云CDN加速访问在OBS中的数据,费用将由OBS和CDN共同产生和收取。 整个过程产生的费用示意图如图2所示。 图2 通过CDN加速访问OBS费用示意 各计费项的的详细说明,如表6所示。 表6 通过CDN加速访问OBS计费项说明
如何对OBS进行访问权限控制? 您可以使用以下几种机制来控制对OBS的访问权限。更多详细信息,请参见OBS权限控制概述。 IAM权限 IAM权限是作用于云资源的,IAM权限定义了允许和拒绝的访问操作,以此实现云资源权限访问控制。 推荐使用IAM权限的场景:对同一账号内的子用户授权。
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
Cloudera CDH对接OBS 部署视图 安装版本 硬件:1Master+3Core(配置:8U32G,操作系统:CentOS 7.5) 软件:CDH 6.0.1 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 并将OBS
sue,或者在华为云对象存储服务论坛中发帖求助。 您可通过以下步骤实现网站文件托管: 将网站文件上传至OBS的桶中,并设置对象MIME类型。 设置对象访问权限为公共读。 通过浏览器访问对象。 以下代码展示了如何实现网站文件托管: static void test_put_object()
Hortonworks HDP对接OBS 部署视图 安装版本 硬件:1master+3core(配置:8U32G,操作系统:CentOS 7.5) 软件:Ambari:2.7.1.0,HDP:3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。
支持的大数据平台简介 华为云大数据存算分离方案中,OBS支持与多种大数据平台对接,包括华为云MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(
图片处理 如何通过URL访问图片处理服务? 设置CDN加速后,处理过的图片存储在哪里? 设置桶日志后,进行图片处理,发现有100网段的ip访问桶 图片处理如何收费? 每个桶支持创建多少个图片样式?
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
图2所示。 您还需同时指定该存储的“服务器地址”,支持填写IP地址或域名,格式为:服务器IP地址或域名:服务器端口号(HTTPS协议端口号为“443”,HTTP协议端口号为“80”)。系统默认服务器为HTTPS服务器,如需使用HTTP服务器,请单击页面右上角的图标并单击“系统配置
URL中携带签名 可视化签名计算工具 工具使用步骤 本节介绍如何使用工具计算签名 使用工具计算Header中携带的签名 使用工具计算URL中携带的签名 单击进入可视化签名计算工具。 填写用户访问密钥ID(AK)和秘密访问密钥(SK)。如何获取请参见管理访问密钥 参照下表填写生成签名需要的参数:
手动编码计算签名 使用SDK计算签名 OBS SDK内部已实现签名,因此您在使用SDK访问OBS时,无需关注签名问题。各语言SDK实现签名计算的源码如表2所示: 表2 OBS SDK Header携带签名的实现 SDK 签名实现源文件 Java RestStorageService.java
获取临时AK/SK和securitytoken参考获取临时AK/SK和securitytoken。 默认取值: 无 SDK签名实现 表2 OBS SDK签名实现 SDK 签名实现源文件 Java AbstractClient.java Python client.py Go auth.go C
如何迁移数据至OBS? 数据迁移场景 数据迁移至OBS主要有以下几种场景: 搬迁本地数据至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移(跨账号、跨区域以及同区域内数据迁移) 场景一:搬迁本地数据至OBS 搬迁本地数据至OBS的方案如下,了解更多详见搬迁本地数据至OBS最佳实践:
如何修改桶所属的企业项目? 当OBS桶需要按照企业业务进行分组管理或者已有分组发生变化时,可以通过对OBS桶资源执行迁出操作,实现桶所属企业项目的修改。 您只需要在桶当前所属的企业项目中找到对应的桶,并迁出至其他企业项目即可。详细操作步骤,请参见迁出企业项目资源。 父主题: 桶和对象相关
只反映变化的内容,而不是其元数据。上传的对象或拷贝操作创建的对象,通过MD5加密后都有唯一的ETag。如果通过多段上传对象,则无论加密方法如何,MD5会拆分ETag,此类情况ETag就不是MD5的摘要。 类型:String x-obs-id-2 帮助定位问题的特殊符号。 类型:String
域名管理 桶的域名管理概述 通过自定义域名访问桶 通过CDN加速域名访问桶 为桶的CDN加速域名配置自动刷新策略
已购买资源包,为什么仍然扣费? 配置CDN回源,并购买回源流量包,计费未走回源流量包 账号欠费后已重新续费,为什么OBS资源仍然不可用? 资源包是否必须购买?是否能指定给具体的桶使用? 资源包是否支持退订或修改? 资源包到期后OBS资源会如何处理? 并行文件系统是否支持资源包? 请求次数是如何计算的? 是否支持购买请求次数?
认证鉴权 OBS签名机制概述 Header中携带签名 URL中携带签名 基于浏览器上传的表单中携带签名 签名计算工具 父主题: 如何调用API