检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“数据湖”存储。
计算和存储资源无法均衡，当计算和存储需求不一致时，只能等比扩容，势必造成一种资源的浪费。 3 数据三副本存储，利用率低，成本高 Hadoop分布式文件系统（HDFS）使用三副本保存数据，磁盘空间利用率仅33%，单盘利用率低于70%。 方案架构 针对传统企业在大数据场景面临的问题，华为
OBS与自建存储服务器对比 对比项 OBS 自建存储服务器 数据存储量 提供海量的存储服务，在全球部署着N个数据中心，所有业务、存储节点采用分布式集群方式部署，各节点、集群都可以独立扩容，用户永远不必担心存储容量不够。 数据存储量受限于搭建存储服务器时使用的硬件设备，存储量不够时需要重新购买存储硬盘，进行人工扩容。
Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
获取访问密钥（AK/SK） IAM用户如果希望使用AK/SK访问OBS，必须要账号为其开启“编程访问”。开启方法请参见查看或修改IAM用户信息。 在调用接口的时候，需要使用AK/SK进行签名验证。AK/SK获取步骤如下： 登录控制台。 鼠标指向界面右上角的登录用户名，在下拉列表中单击“我的凭证”。
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
S应用以标准化、中心化的方式接入事件网格，通过标准化的CloudEvents协议在这些应用之间以灵活方式路由事件，帮助您轻松构建松耦合、分布式的事件驱动架构。 OBS作为云服务事件源将产生的云服务事件发送到EG，事件规则对云服务事件进行过滤和转换，通过转换后的事件触发事件目标（即函数工作流服务中的函数）。
State Transfer）风格API，支持您通过HTTP/HTTPS请求调用，调用方法请参见如何调用API。 同时OBS还提供多种编程语言的SDK供您使用，SDK的使用方法请参见SDK参考。 父主题： 使用前必读
SDK提供的接口函数即可实现使用OBS服务业务能力的目的。 同时，我们针对不同语言的SDK提供了开发指南和API参考。开发指南详细介绍了SDK的安装、开发操作、参数、示例和常见问题处理，API参考提供了各API的所有参数及定义。OBS提供了以下主流语言SDK供开发者使用： 语言 SDK开发指南 API参考 Java Java
不支持对象加密上传，但如果桶配置了服务端加密，那向该桶中上传的对象会自动加密。 - OBS API 是 与服务端加密相关的接口 OBS SDK 是 具体操作请参考各语言SDK开发指南的“服务端加密”章节。 父主题： 服务端加密
型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts：AI开发平台，采用多机多卡分布式训练。 VPC：虚拟私有云和子网。 算法及数据：准备AI训练需要的算法及数据集，如Swin-Transformer算法，及ImageNet21K数据集。
TDI等企业关键应用场景，可以提供与企业私有云环境一致的性能和可靠性，简化企业级用户在公有云上部署关键应用的难度，详情请参见DESS服务简介。 专属分布式存储服务（Dedicated Distributed Storage Service，DSS）为您提供独享的物理存储资源，通过数据冗余和缓
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务，用于收集、聚合以及移动大量日志数据，具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
将WordPress远程附件存储到OBS 背景信息 WordPress是一个基于PHP语言和MySQL数据库开发的博客平台，并逐步演化成一款内容管理系统软件，具有广泛的应用场景。 本文介绍如何通过插件，将WordPress远程附件存储到华为云OBS。OBS提供海量、稳定、安全的云
Java SDK)。 默认取值： 无 contentLanguage String 可选 参数解释： 说明访问者希望采用的语言或语言组合，以根据自己偏好的语言来定制。详情请参见HTTP协议中关于ContentLanguage的定义。 默认取值： 无 expires String 可选
resp.errorMessage) 除OBS BrowserJS SDK外，其他语言的OBS SDK均支持配置桶的CORS； 您也可以参考OBS Console配置跨域资源共享或者各SDK语言开发指南的配置CORS规则章节，完成桶的CORS配置。 父主题： 初始化
行配置。“段大小(MB)”的设置区间在5MB到5GB之间。 最大任务数 设置最大上传和下载任务个数，请输入2到20的整数。 语言 根据需求设置语言类型。语言切换后，重启软件生效。 单击“网络配置”，根据需求设置代理服务器信息，如图2所示。 图2 网络配置 表2 网络配置参数说明 参数
}); // 使用访问OBS // 关闭obsClient // obsClient.close(); 由于JavaScript是异步编程语言，所以不能在访问OBS期间调用close方法。 obsClient在调用obsClient.close方法关闭后不能再次使用。 更多关于
华为云对象存储服务，负责处理移动应用的数据请求。 实施步骤 配置应用服务器。 获取SDK开发包。 请在各语言的SDK开发指南中获取。 生成预签名URL的代码。 预签名URL的计算方法请参考URL中携带签名。 下述示例以在应用服务器中使用Java语言开发进行举例。 应用服务器需要根据APP操作类型，识别公共请求消息头
更多关于帮助命令的介绍请参考查看命令帮助。 您可以通过配置文件中的helpLanguage参数配置帮助命令的语言类型。例如，配置helpLanguage=Chinese代表配置帮忙命令的语言类型为中文。 当前支持的语种类型包括Chinese和English，默认为English。 父主题：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
