检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hortonworks HDP对接OBS 部署视图 安装版本 硬件:1master+3core(配置:8U32G,操作系统:CentOS 7.5) 软件:Ambari:2.7.1.0,HDP:3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。
Spark集群对接OBS配置项 Spark应用对接OBS,需要在YARN集群中进行core-site.xml配置,包括:ak、sk、endpoint、impl等。 core-site.xml配置完成后“重启”YARN集群,再重启Spark集群的“部署客户端配置”。 Hive集群对接OBS配置项 H
配置桶级默认WORM策略 功能介绍 桶的WORM开关开启后,支持配置默认保护策略和保护期限。 当您在桶内配置了桶级默认WORM策略以后,如果您在上传对象时没有指定保护策略和保护期限,则新上传的对象会自动应用桶级默认WORM策略。和配置对象级WORM保护策略不同的地方在于,对象级W
前提条件 在使用本工具前,您需完成注册华为帐号并开通华为云,开通OBS,并创建一个可用的桶。 已下载obsftp工具。 工具下载地址:https://github.com/huaweicloud-obs/obsftp 通常Linux/unix系统已安装Python程序,可通过Pytho
别访问时延,TB/s级别带宽和百万级别的IOPS。 作为对象存储服务的子产品,并行文件系统支持用户按照标准的OBS接口读取数据。也支持通过部署在弹性云服务器中的OBSA,执行大数据场景业务。 应用场景 并行文件系统提供高兼容性、高性能、高可扩展性、高可靠性的能力。 主要的应用场景如下:
在使用本工具前,您需完成注册华为帐号并开通华为云,开通OBS,并创建一个可用的桶。 已下载obsftp工具。 工具下载地址:https://github.com/huaweicloud-obs/obsftp 在Windows上使用此工具前需要您先完成Python安装。 Python工具获取地址:https://www
33%,单盘利用率低于70%。 方案架构 针对传统企业在大数据场景面临的问题,华为云提供了基于对象存储服务OBS作为统一数据湖存储的大数据存算分离方案。 图1 基于OBS的华为云大数据存算分离方案 华为云大数据存算分离方案基于对象存储服务OBS的大容量高带宽能力,以及多协议共享访问技术(HDFS/POSIX/OBS
在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。 在“基本信息”页签,设置冷数据淘汰时间。 图1 设置冷数据淘汰时间 只有已经导出到OBS且满足淘汰时间的数据才会被淘汰。 父主题: 基本配置
当周期开始时,OBS Browser+会扫描本地文件与桶中对应路径的对象进行对比,仅在对象不存在,或者对象大小与文件大小不一致,或者对象的最后修改时间早于文件的最后修改时间时才会进行上传。 父主题: 最佳实践
设置/获取/删除桶CORS配置。 versioning 设置/获取桶多版本状态。 website 设置/获取/删除桶Website配置。 logging 设置/获取桶日志管理配置。 lifecycle 设置/获取/删除桶生命周期配置。 notification 设置/获取桶时间通知配置。 tagging
环境准备是指为了您能顺利完成SDK的安装、完成基于SDK的代码开发与运行,需要提前在本地完成开发环境的搭建,比如下载安装依赖软件、安装开发工具等。 准备华为账号 使用OBS之前您必须要有一个华为账号。申请华为账号步骤详见:注册华为账号并开通华为云。 准备访问密钥 OBS通过用户账
出于安全目的,OBS会校验客户端与OBS服务器的时间差,当该时间差大于15分钟时,OBS服务器会拒绝您的请求,从而出现此报错。 解决办法: 请根据本地UTC时间调整本地时间后再访问。 父主题: OBS控制台使用相关
安装OBS Browser+ 操作步骤 单击OBS Browser+工具的下载链接下载该工具。 解压下载的软件包。 运行“obs-browser-plus Setup xxx.exe”完成OBS Browser+工具安装。“xxx”为OBS Browser+工具的版本号。 在开始
查看生命周期规则 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.getBucketLifecycle查看桶的生命周期规则。以下代码展示了如何查看桶的生命周期规则:
以跳过本章节,不影响您使用OBS的其它功能。 如果您使用IAM用户,则需要先配置IAM用户的OBS资源权限。OBS与其他云资源是分开部署的。 示例流程 图1 为IAM用户授权OBS资源权限 下面内容以配置IAM用户的对象存储服务“Tenant Guest”权限为例。 创建用户组并授权
载对象、分享对象。 准备工作 使用OBS之前,您需要拥有一个华为账号并实名认证,然后为账号充值。 注册华为账号并实名认证。 如果您已有华为账号,请忽略此步骤。如果您还没有华为账号,请执行以下操作: 注册华为账号并开通华为云。 参考个人账号如何完成实名认证或企业账号如何完成实名认证,完成个人或企业账号实名认证。
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 上传对象或者初始化分段上传任务时,您可以使用Expires参数直接指定对象的过期时间。此方式仅支持设置以天为单位的对象过期时间,过期后的对象会被OBS服务端自动清理,其优先级高于桶生命周期规则。
转换为低频访问存储的时间最少设置为30天,如果同时设置转换为低频访问存储和转换为归档存储,则转换为归档存储的时间要比转换为低频访问存储的时间至少长30天,例如转换为低频访问存储设置为33天,则转换为归档存储至少需要设置为63天。如果单独设置转换为归档存储,则没有时间限制。过期时间必须大于前两个转换时间的最大值。
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 上传对象或者初始化分段上传任务时,您可以直接指定对象的过期时间。示例代码如下: // 初始化配置参数 ObsConfig config = new
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台