检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
最多可创建两个有效的永久访问密钥。临时访问密钥只在设置的有效期内能够访问OBS,过期后需要重新获取。出于安全性考虑,建议您使用临时访问密钥访问OBS,或使用永久访问密钥访问OBS时,定期更新您的访问密钥(AK/SK)。两种密钥的获取方式如下所示。 永久访问密钥: 登录管理控制台。
配置OBS客户端 您可通过OBSServiceConfiguration配置类对OBSClient进行配置,可配置代理、连接超时、最大连接数等参数。通过OBSServiceConfiguration可以设置的参数见下表: 表1 OBS网络请求配置表 参数 描述 建议值 OBSServiceConfiguration
Windows操作系统 obsutil clear [checkpoint_dir] [-u] [-d] [-c] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil clear [checkpoint_dir]
Id),需要具备访问OBS对应桶的权限。 fs.obs.secret.key 无 是 华为云的SK(Secret Access Key),需要具备访问OBS对应桶的权限。 fs.obs.session.token 无 否 华为云的securitytoken,需要具备访问OBS对应桶的权限。当使用临时AK/SK时需要。
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
flink-obs-fs-hadoop目前仅支持OBS并行文件系统。 为了减少日志输出,在/opt/flink-1.12.1/conf/log4j.properties文件中增加配置: logger.obs.name=com.obs logger.obs.level=ERROR flink-obs-fs-hado
京一区域。 使用方式 OBS支持通过控制台、API、SDK、OBS Browser+、obsutil方式列举桶。 使用OBS控制台 登录管理控制台。 单击页面左上角的,选择“存储 > 对象存储服务 OBS”。 进入桶列表页,桶列表页展示账户下所有的桶。 使用API 列举桶 使用SDK
上传对象简介(Go SDK) 在OBS中,用户操作的基本数据单元是对象。OBS Go SDK提供了丰富的对象上传接口,可以通过以下方式上传对象: 流式上传 文件上传 分段上传 断点续传上传 SDK支持上传0KB~5GB的对象。流式上传和文件上传的内容大小不能超过5GB;当上传较大
OBS是否支持流量监控? OBS支持流量监控功能: 通过OBS控制台的用量统计,能监控统计周期内的流量指标。查看方法,请参见查看用量统计。 通过云监控CES,能监控OBS包括流量指标在内的如下指标: 表1 OBS支持的监控指标(请求类) 指标ID 指标名称 指标含义 取值范围 测量对象
桶配额值必须为非负整数,单位为字节,支持的最大值为263 - 1。 OBS没有提供删除桶配额的接口,您可以将桶配额设置为0来取消配额限制。 使用方式 OBS支持通过API和SDK方式管理桶配额,不支持通过控制台、OBS Browser+、obsutil方式管理桶配额。 使用API 设置桶配额 使用SDK Java
指定用户的securitytoken。 上传对象时设置对象的存储类别 OBS支持使用控制台、API、OBS SDK、OBS Browser+和obsutil共5种方式在上传对象时设置对象存储类别。 使用OBS控制台 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。
通过OBS Browser+图形化工具快速使用OBS OBS Browser+是一款图形化工具,可以非常方便地让用户在本地对OBS的数据进行管理。 本章节以上传一个文件至“test-example-bucket”桶为例,帮助您快速通过OBS Browser+使用OBS的基础功能,
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中,对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中,则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移,包括:Distcp方式迁移、CDM方式迁移和OMS方式迁移。
命令结构 Windows操作系统 obsutil rm obs://bucket [-f] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil rm obs://bucket [-f] [-config=xxx]
以Windows操作系统为例,运行obsutil cp d:\temp\test.txt obs://bucket-test/key,将D盘temp路径下名为test.txt的文件上传至bucket-test桶中,并且重命名为key。 obsutil cp d:\temp\test.txt obs://bucket-test/key
运行示例 以Windows操作系统为例,运行obsutil cp obs://bucket-test/key obs://bucket-test2 ,复制单个对象。 obsutil cp obs://bucket-test/key obs://bucket-test2 Start at
Windows操作系统 obsutil version macOS/Linux操作系统 ./obsutil version 运行示例 以Windows操作系统为例。运行示例如下: obsutil version obsutil version:5.1.9, obssdk version:2
Windows操作系统 obsutil bucketpolicy obs://bucket -method=put -localfile=xxx [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil
0-bin/conf/log4j.properties文件中增加配置: log4j.logger.com.obs=ERROR obsa写入时临时文件的目录配置 Flume写OBS时会先写入本地磁盘缓冲区,然后上传到OBS,如果对写入OBS有极致性能要求请选择高性能磁盘作为缓冲区,在core-site.xml文件中增加配置: