检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
可以在华为云上部署和管理Hadoop系统，一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云服务，完全兼容开源接口，结合华为云计算、存储优势及大数据行业经验，为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运行Hadoop、Spark、HB
通过控制台、工具、API、SDK等任意方式对OBS进行操作，实际上都是对OBS API的调用，每调用一次API都计算一次请求次数。 请求类别 OBS的请求主要分为四大类： 读操作（GET类请求）：GET/HEAD/LIST等，例如下载对象、获取桶区域位置、获取桶策略、列举对象。 写操作（PUT类请求）：
Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
三种主流大数据平台的对接指导，详情请参见支持的大数据平台简介。 （可选）OBS除了可以与主流大数据平台对接外，还可以直接与开源的大数据组件对接。当您使用开源的大数据组件时，可参考支持的大数据组件简介完成与OBS对接。 （可选）如果您的数据仍存储在本地HDFS，需要先将数据迁移到华
云数据迁移（Cloud Data Migration，CDM）提供同构/异构数据源之间批量数据迁移服务，帮助您实现数据自由流动。支持关系数据库，数据仓库，NoSQL，大数据云服务等数据源。 详细内容请参见云数据迁移。 OMS方式迁移 对象存储迁移服务（Object Storage Migration
API的调用，每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取。 请求类别 OBS的请求主要分为四大类： 读操作（GET类请求）：GET/HEAD/LIST等，例如下载对象、获取桶区域位置、获取桶策略、列举对象。 写操作（PUT类请求）：
资源包概述 资源包说明 您也可以通过包年包月（资源包）的方式，提前购买使用额度和时长，获取更多的优惠。超出资源包的部分自动转按需计费。如何购买资源包？ 对象存储服务暂不支持退订资源包，建议您在购买资源包前提前规划资源的使用额度和时长。 对象存储服务资源包仅支持抵扣资源包购买后产生
服务，给您带来不便敬请谅解。 工具下载地址：https://github.com/huaweicloud-obs/obsftp 本工具完全开源并遵循MIT License，您完全可以自行改造并用于商业或个人行为而不受影响。 功能特性说明： FTP基本的数据上传、下载、删除能力无损支持。
数据恢复费用 访问低频访问存储类别、归档存储类别和深度归档存储类别的对象时，会根据对象大小等产生额外的数据恢复费用。此项费用不管通过内、外网访问均会产生；如果使用外网访问，则会同时计入到公网流出流量费用。 计费说明 资费项 计费项 含义 适用的计费模式 数据恢复费用 数据读取流量
产品优势 OBS与自建存储服务器对比 在信息时代，企业数据直线增长，自建存储服务器存在诸多劣势，已无法满足企业日益强烈的存储需求。表1向您详细展示了OBS与自建存储服务器的优劣势对比。 表1 OBS与自建存储服务器对比 对比项 OBS 自建存储服务器 数据存储量 提供海量的存储服
Declaration of xxxx must be compatible with xxxx？ 如果遇到这种报错，基本上都是版本不兼容导致的，因为社区开源软件依赖会不定期更新。比如遇到以下报错： Declaration of Obs\Internal\Common\CheckoutStream::read($length)
成为了一个热点问题，本文将通过一个示例程序进行演示。 注意事项 客户端计算签名时依赖引用“crypto-js”及“js-base64”两个开源组件，因此需要在微信小程序项目中设置使用NPM模块。 在微信小程序中进行编译时，如果在引入“crypto-js”包时出现“Maximum call
分段上传-上传段(Python SDK) 功能说明 初始化分段上传任务后，通过分段上传任务的ID，上传段到指定桶中。除了最后一段以外，其他段的大小范围是100KB~5GB；最后一段的大小范围是0~5GB。上传的段的编号也有范围限制，其范围是1~10000。 上传段时，除了指定上传
开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。 OBS Node.js SDK基于log4js开源库提供了日志功能，您可以通过ObsClient.initLog开启日志功能并进行配置。代码示例如下： obsClient.initLog({
日志分析(Node.js SDK) 日志配置 OBS Node.js SDK基于log4js开源库提供了日志功能，您可以通过ObsClient.initLog开启日志功能并进行配置。代码示例如下： obsClient.initLog({ name: 'test', //
使用obsutil下载文件夹前期速度正常，下载到90%后速度变慢 出现此种现象有两种场景。 场景一：文件夹中存在部分大对象和大量小对象。对于大对象，下载速度很快；对于大量小对象，下载速度主要受TPS影响。如果下载到90%后都是小对象，此时下载速度一定程度上可能会降低。 场景二：文
为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS .NET SDK基于Apache Log4net开源库提供了日志功能，您可以通过加入日志配置文件开启日志功能。具体步骤如下： 在工程中添加对开发包中的日志库文件log4net.dll的引用。
配置SDK日志(Java SDK) OBS Java SDK基于Apache Log4j2开源库提供了日志功能，SDK默认会将WARN级别的日志记录到JDK系统变量user.dir所代表的路径下，您可以通过修改日志配置文件定制日志功能。 操作步骤 找到OBS Java SDK开发包中的log4j2
设置对象元数据(Java SDK) 功能说明 您可以在上传对象时设置对象元数据。对象元数据包含对象长度、对象MIME类型、对象MD5值（用于校验）、对象存储类别、对象自定义元数据。对象元数据可以在多种上传方式下（流式上传、文件上传、分段上传），或复制对象时进行设置。 开发过程中，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
