检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离
下载对象接口实现图片处理(Java SDK) 功能说明 OBS为用户提供了稳定、安全、高效、易用、低成本的图片处理服务。当要下载的对象是图片文件时，您可以通过传入图片处理参数对图片文件进行图片剪切、图片缩放、图片水印、格式转换等处理。 开发过程中，您有任何问题可以在github上
Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
配置双端固定实现VPC粒度的访问控制 操作场景 使用“双端固定”特性，即同时设置VPC终端节点策略与桶策略，可以对OBS的资源提供VPC粒度的权限控制。 一方面，设置VPC终端节点策略可以限制VPC中的服务器（ECS/CCE/BMS）访问OBS中的特定资源；另一方面，设置桶策略可
如何在不暴露AKSK的条件下实现与OBS交互？ 使用BrowserJS SDK与OBS服务交互时，必须将AK/SK暴露到前端，这样会存在安全问题。为避免该问题出现，可让后端生成临时签名URL给前端后，前端再与OBS交互。 比如：实现上传功能。 // 后端使用NodeJS SDK //
Presto对接OBS 概述 Presto分为prestoSql（现更名为Trino）和PrestoDB两大分支或是发行版。 Presto on OBS仅支持prestoSql/Trino发行版，下述对接步骤以prestoSql-333版本为例（从prestoSql-332版本开始Presto服务端必须使用JDK
要有以下两个场景： 场景1：触发器源桶和函数执行输出目标桶是同一个桶的无限循环 案例1：使用Data+内置函数触发“无限循环” 用户创建一条Data+工作流workflowA，在工作流中使用了内置的“媒资转码”函数，且配置“媒资转码”函数的转码输出桶为target-bucket。
注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的：HDFS租约机制可以保证并发写同一个文件时不会产生一致性问题，但是OBS实现的HDFS协议不支持租约Lease机制（并发写同一个文件时将产生不可确定的状态），所以在flume场景下可以通过文件命名规则进行解决。 如
sue，或者在华为云对象存储服务论坛中发帖求助。 您可通过以下步骤实现网站文件托管： 将网站文件上传至OBS的桶中，并设置对象MIME类型。 设置对象访问权限为公共读。 通过浏览器访问对象。 以下代码展示了如何实现网站文件托管： static void test_put_object()
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS，使用OBS提供的OBSA-HDFS工具，无需重新编译druid，将OBS配置为deep storage。
查询授权 功能介绍 本接口用于查询授权，查询由OBS服务自动帮助用户创建工作流运行时需要的函数服务权限，以及函数服务运行时的权限。该函数具有幂等性。 请求消息样式 GET /v2/workflow-authorization HTTP/1.1 Host: obs.cn-north-4
支持设置0~300秒的超时时间，如果设置为0，则表示超时时间为默认值30秒。 函数唯一标识 选择需要执行的FunctionGraph中的函数。函数需通过FunctionGraph页面创建。 FunctionGraph服务的操作指导请参见《函数工作流用户指南》中“创建并初始化函数”章节的内容。 下拉列表中仅展示与Dat
单位：秒）。 EventCallback 获取上传事件的回调函数。 说明： 该回调函数依次包含三个参数：事件类型，事件参数，事件结果。 ResumeCallback 获取断点续传控制参数的回调函数。 说明： 该回调函数依次包含两个参数：取消断点续传上传任务控制参数，断点续传记录对象；
Hortonworks HDP对接OBS 部署视图 安装版本 硬件：1master+3core（配置：8U32G，操作系统：CentOS 7.5） 软件：Ambari：2.7.1.0，HDP：3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具：下载地址。
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中，具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash，例如≥7.10.2的版本，避免使用较老版本的logstash。
Cloudera CDH对接OBS 部署视图 安装版本 硬件：1Master+3Core（配置：8U32G，操作系统：CentOS 7.5） 软件：CDH 6.0.1 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具：下载地址。 并将OBS
分类 分类描述 1XX 信息，服务器收到请求，需要请求者继续执行操作，一般对客户调用函数不可见。 2XX 成功，操作被成功接收并处理。 3XX 重定向，需要进一步的操作以完成请求，一般对客户调用函数不可见。 4XX 客户端错误，请求包含语法错误或无法完成请求。 5XX 服务器错误，服务器在处理请求的过程中发生了错误。
k_data中，然后使用结构体obs_put_object_handler中定义的回调函数put_object_data_callback来处理传入的回调数据。通过调用put_object实现流式上传。 参数描述 字段名 类型 约束 说明 option 请求桶的上下文，配置option
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
