检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive
YYYY-mm-DD-HH-MM-SS为日志生成的日期与时间,各字段依次表示年、月、日、时、分、秒。 <UniqueString>为OBS自动生成的字符串。
当文件大小达到设定的值时,会生成一个新的文件。 time_file 设置文件滚动周期(分钟)。当数据写入达到设定周期时,会生成一个新的文件。 prefix 指定文件存储的目录,例如“logstash/”,此时文件会写入到桶的logstash/目录下(注意路径不要以/开头)。
当对对象执行“分享”之后,OBS就会以默认5分钟的有效期获取临时鉴权信息,并生成分享链接,此时链接就已经生效并且开始计算时间了。每调整一次URL有效期,OBS就会重新获取一次鉴权信息以生成新的分享链接,新链接的有效期从调整的时候开始计算。
单击“生成Query鉴权签名”。
SSE-C initiateMultipartUpload 初始化分段上传任务时设置加密算法、密钥,对分段上传任务最终生成的对象启用服务端加密。 SSE-KMS SSE-C uploadPart 上传段时设置加密算法、密钥,对分段数据启用服务端加密。
搬迁本地数据至OBS 背景 传统的自建存储服务器已不能满足大量的数据存储需求,主要原因可以归类为以下三点: 数据存储量受限于搭建服务器时使用的硬件设备,如果存储量不够,需要重新购买存储硬盘,进行人工扩容。 前期安装难、设备成本高、初始投资大、自建周期长、无法匹配快速变更的企业业务。
生成带授权信息的表单上传参数 obsClient.CreateBrowserBasedSignature 生成用于鉴权的请求参数,以进行POST表单上传。
对象上传简介(Java SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 在OBS中,用户操作的基本数据单元是对象。OBS Java SDK提供了丰富的对象上传接口,可以通过以下方式上传对象: 流式上传 文件上传 分段上传
TargetBucket: 'logBucketName', // 指定生成的日志文件的对象名前缀 TargetPrefix: 'logs/', } }, function(err, result) { if(err
计费概述 本章节主要介绍对象存储的计费说明,包括计费项、计费模式等。关于并行文件系统和专属对象存储的计费说明,请参考产品价格详情。 计费项 OBS计费项由存储费用、请求费用、流量费用、数据恢复费用和数据处理费用组成,如图1所示。 图1 OBS计费项一览 计费模式 OBS提供按需计费和包年包月两种计费模式
您也可以通过如下步骤进行表单上传: 使用ObsClient.createPostSignatureSync生成用于鉴权的请求参数。 使用SDK生成用于鉴权的请求参数包括两个: Policy:对应表单中policy字段。 Signature:对应表单中的signature字段。
设置跨域规则 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.SetBucketCors设置桶的跨域规则,如果原规则存在则覆盖原规则。 本示例用于设置桶名为
结果清单 批量任务执行完成后,会生成结果清单文件,结果清单包含了成功、失败和警告三种类型的文件。 状态码 obsutil支持在进程运行结束后,根据不同的运行结果返回不同返回码,您可以根据返回码分析并处理问题。 父主题: 问题定位
vp 附加参数,可选 授权码的有效期,以当前时间为基准,默认值为1天,代表生成的授权码将在1天后变为无效。
我在什么场景下需要使用生命周期管理? 生命周期管理可适用于以下典型场景: 周期性上传的日志文件,可能只需要保留一个星期或一个月。到期后要删除它们。 某些文档在一段时间内经常访问,但是超过一定时间后便可能不再访问了。这些文档需要在一定时间后转化为低频访问存储,归档存储或者删除。 如果您需要大量的删除桶内对象
o 附加参数,可选 生成结果清单文件的文件夹,命令执行完成后,会在该文件夹下生成结果清单文件(可能包含成功结果和失败结果两个文件),默认为运行obsutil命令的用户目录的子文件夹.obsutil_output。
当在OBS控制台上单击了对象后的“分享”之后,OBS就会以默认5分钟的有效期获取临时鉴权信息,并生成分享链接,此时链接就已经生效并且开始计算时间了。每调整一次URL有效期,OBS就会重新获取一次鉴权信息以生成新的分享链接,新链接的有效期从调整的时候开始计算。
LogConfigurator.ERROR 日志无法生成 如发现无法生成日志,检查AndroidManifest.xml文件中是否加入了以下权限: <uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE
对象相关命令 创建文件夹 上传对象 查询对象属性 设置对象属性 列举对象 复制对象 移动对象 下载对象 生成对象的下载链接 删除对象 增量同步上传对象 增量同步复制对象 增量同步下载对象 恢复归档存储对象 恢复失败的上传任务 恢复失败的复制任务 恢复失败的下载任务 列举分段上传任务