检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GET 请求服务器返回指定资源,如获取桶列表、下载对象等。 PUT 请求服务器更新指定资源,如创建桶、上传对象等。 POST 请求服务器新增资源或执行特殊操作,如初始化上传段任务、合并段等。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器返回指定资源的概要,如获取对象元数据等。
支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
如何实现下载对象时限速(Java SDK) 此示例用于下载对象时设置链接的限速,通过自定义头域,SDK透传x-obs-traffic-limit,服务端校验完成限速。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。
如何实现上传对象时限速(Java SDK) 此示例用于上传对象时设置链接的限速,通过自定义头域,SDK透传x-obs-traffic-limit,服务端校验完成限速。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
如何在不暴露AKSK的条件下实现与OBS交互? 使用BrowserJS SDK与OBS服务交互时,必须将AK/SK暴露到前端,这样会存在安全问题。为避免该问题出现,可让后端生成临时签名URL给前端后,前端再与OBS交互。 比如:实现上传功能。 // 后端使用NodeJS SDK //
支持的大数据平台简介 华为云大数据存算分离方案中,OBS支持与多种大数据平台对接,包括华为云MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(
对于Windows ECS,推荐使用OBS Browser+工具,实现内网访问OBS的目的,详细操作请参见: 在Windows ECS上使用OBS Browser+通过内网访问OBS 对于Linux ECS,推荐使用obsutil工具,实现内网访问OBS的目的,详细操作请参见: 在Linux
在欧洲地区有业务的用户,可以选择“欧洲-巴黎”区域。 云服务之间的关系 如果多个云服务一起搭配使用,需要注意: 不同区域的弹性云服务器、关系型数据库、对象存储服务内网不互通。 不同区域的弹性云服务器不支持跨区域部署在同一负载均衡器下。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
应用客户端每个请求都将向应用服务器申请预签名URL,该预签名URL有效期由应用服务器管理。具体流程如图1。 图1 移动应用访问OBS数据流程 角色分析如下: 应用客户端:即最终用户手机上的APP,负责向应用服务器申请包含预签名的URL,以及访问OBS完成数据上传或下载。 应用服务器:即提供该An
Migration,CDM)提供同构/异构数据源之间批量数据迁移服务。CDM通过创建定时作业,将用户自建存储服务器上的文件系统、数据库、对象存储等数据源与华为云OBS进行连接,从而实现定时、自动地将本地数据搬迁至OBS。 图1 CDM方式搬迁数据示意图 创建OBS桶 通过OBS控制台或OBS
配置CORS实现跨域访问OBS OBS提供HTML5协议中的CORS设置,帮助用户实现跨域访问。 您可以新建CORS规则,也可以从其他桶复制已有CORS规则。 背景知识 跨域是指不同域名之间相互访问。 跨域访问是浏览器出于安全考虑而设置的一个限制,即同源策略。由于JavaScri
配置presto 在安装目录里创建etc目录。这目录会有以下配置(自己创建): 节点配置文件:每个节点的环境配置 JVM配置文件:Java虚拟机的命令行选项 Server配置文件(Config Properties):Presto server的配置 Catalog配置文件:配置p
Browser时出现“OBS Browser由于数据库不可用原因,导致任务管理功能无法正常使用”的报错 问题 在Windows操作系统上启动OBS Browser时,出现“OBS Browser由于数据库不可用原因,导致任务管理功能无法正常使用。请关闭客户端,并前往您的数据库路径(可以在“系统配置 >
单击“网络配置”,根据需求设置代理服务器信息,如图2所示。 图2 网络配置 表2 网络配置参数说明 参数 说明 启用代理 勾选后,会展示“使用身份验证”的可选项。设置以下参数就可以通过代理服务器访问OBS。 地址:代理服务器地址。 端口:代理服务器端口(默认为“8080”)。 单击
将WordPress远程附件存储到OBS 背景信息 WordPress是一个基于PHP语言和MySQL数据库开发的博客平台,并逐步演化成一款内容管理系统软件,具有广泛的应用场景。 本文介绍如何通过插件,将WordPress远程附件存储到华为云OBS。OBS提供海量、稳定、安全的云存储能力
通过对象URL访问对象 对象URL(对象共享)功能,可实现匿名用户通过对象共享链接地址,直接访问对象数据。 前提条件 已通过管理控制台设置匿名用户读取该指定对象的权限。 操作步骤 登录OBS Browser。 单击待操作的桶,进入桶界面。 选中待配置的对象,单击需要共享的对象右侧
建议搭配服务 数据快递服务 DES,弹性云服务器 ECS,弹性伸缩 AS,镜像服务 IMS,云监控服务 CES,统一身份认证服务 IAM 图7 HPC 企业云盘(网盘) 场景描述 OBS配合弹性云服务器ECS、弹性负载均衡ELB、关系型数据库RDS和云硬盘备份VBS为企业云盘提供
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中,具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash,例如≥7.10.2的版本,避免使用较老版本的logstash。 对接步骤 以logstash-7