检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
我对存储在OBS上的数据加密时，可支持哪些加密技术？ 您在将数据上传到OBS中前，可以事先对数据进行加密，以保证传输和保存的安全性。OBS不限定客户端加密的技术。 用户可根据需要对对象进行服务端加密，使对象更安全的存储在OBS中。 需要上传的对象可以通过数据加密服务器提供密钥的方
Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“数据湖”存储。 HDFS协议：Hado
memset_s(&ptrResult,sizeof(tempAuthResult),0,sizeof(tempAuthResult)); //回调数据 tempauth.callback_data = (void *)(&ptrResult); // 有效时间
memset_s(&ptrResult,sizeof(tempAuthResult),0,sizeof(tempAuthResult)); //回调数据 tempauth.callback_data = (void *)(&ptrResult); // 有效时间
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中，具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash，例如≥7.10.2的版本，避免使用较老版本的logstash。
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
memset_s(&ptrResult,sizeof(tempAuthResult),0,sizeof(tempAuthResult)); //回调数据 tempauth.callback_data = (void *)(&ptrResult); // 有效时间
定时转换对象存储类别 对于在一段时间内经常访问，但是超过一定时间后便可能不再访问的数据，例如数字媒体存档、金融和医疗记录、长期数据库备份以及为符合监管要求而必须保留的数据等，使用生命周期定时将这些数据转换为较低成本的归档存储或深度归档存储类型，以减少您的存储费用。 桶内对象（开启多版本时包括对象的当前版本和历史版本）
memset_s(&ptrResult,sizeof(tempAuthResult),0,sizeof(tempAuthResult)); //回调数据 tempauth.callback_data = (void *)(&ptrResult); // 有效时间
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS，使用OBS提供的OBSA-HDFS工具，无需重新编译druid，将OBS配置为deep storage。
存储费用 标准存储容量 小时 当前小时对上小时产生的费用进行结算，输出账单 资源包 > 按需计费 低频访问存储数据容量 按需计费 归档存储数据容量 资源包 > 按需计费 深度归档存储数据容量 按需计费 请求费用 所有类型的请求次数 小时 当前小时对上小时产生的费用进行结算，输出账单 按需计费
您可以使用多种方式配置桶清单，详情请参见桶清单。 清单文件中包含的内容 清单文件中的内容由设置的清单配置而定，所有可能的字段见表1。 表1 清单中列出的对象元数据 元数据 说明 Bucket 源桶的桶名。 Key 键值，即对象的名称，一个桶里的每个对象拥有唯一的对象键值。（清单文件中的对象名采用UTF-8的URL编码，需解码后才能使用）。
OBS时，可通过域名方便定位OBS中的资源。 在使用OBS之前，请确保客户端环境已经正确配置DNS服务器地址，用于OBS域名解析。 不同的数据中心分配对应的域名，域名详情请参见地区和终端节点。 父主题： 产品咨询
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务，用于收集、聚合以及移动大量日志数据，具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
态码。具体描述请参见5.4.2-POST上传。 精确匹配：Exact Matches x-obs-meta-* String 用户自定义元数据。 元素中的关键字不允许含有非ASCII码或不可识别字符，如果一定要使用非ASCII码或不可识别字符，需要客户端自行做编解码处理，可以采用
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接，实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导，详情请参见支持的大数据平台简介。 （可选）OBS除了可以与主流大数据平台对接外，
id：唯一标识，每个节点的标识都必须是唯一的。就算重启或升级Presto都必须还保持原来的标识。 node.data-dir：数据目录，Presto用它来保存log和其他数据 示例： node.environment=presto_cluster node.id=bigdata00 node
配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
