检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外
Hadoop生态系统构建的大数据分析管理平台发行版。 Cloudera CDH与OBS对接的具体操作,请参见Cloudera CDH对接OBS。 Hortonworks HDP HDP是Hortonworks基于Apache Hadoop生态系统开源组件构建的大数据分析管理平台。 Hortonworks
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
流程简介 以下章节介绍如何使用OBS Browser来完成图1中所示的任务。 图1 OBS Browser快速入门 父主题: 入门
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
任务管理 OBS Browser支持上传、下载、重命名、移动、复制、删除、恢复任务管理,通过任务管理可暂停、取消或删除任务。 如果已完成任务数量大于20万条,则系统会按照任务创建时间先后顺序查询10万条较早创建的数据,迁移到OBS Browser解压路径下history目录中,以historyDBData[时间戳]
任务管理 管理运行队列 管理已暂停队列 管理已完成队列 管理恢复中队列 管理失败队列
可以在OBS上托管我的静态网站吗? OBS支持静态网站托管。用户可以通过OBS管理控制台将自己的桶配置成静态网站托管模式,当客户端通过桶的website接入点访问桶内的对象资源时,浏览器可以直接解析出这些网页资源,呈现给最终用户。 父主题: 静态网站托管
配置生命周期管理策略 您可以为某个桶定义生命周期管理规则,来为该桶的对象定义各种生命周期规则。 操作步骤 登录OBS Browser+。 选中待配置的桶,单击“更多 > 生命周期规则”,如图1所示。 图1 生命周期规则 在“生命周期规则”窗口中单击“创建”,如图2所示。 图2 创建生命周期规则
ID,接入键标识,用户在OBS系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。OBS系统通过接入键标识识别访问系统的用户。 SK:Secret Access Key,安全接入键,用户在OBS系统中的安全接入键,是用户访问OBS系统的密钥,用户根据安全接入键和请求头域生成
管理桶访问权限 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 桶访问权限(ACL)可以通过两种方式设置: 调用ObsClient.setBucketAcl指定预定义访问策略。 调用ObsClient
权限管理 OBS资源权限管理 OBS桶和对象的权限可以通过IAM用户权限、桶策略和ACL共同控制,本章节介绍使用IAM进行权限管理。 更多关于OBS资源权限管理的内容请参见权限管理。 如果您需要对购买的OBS资源,为企业中的员工设置不同的用户访问权限,以达到不同员工之间的权限隔离
生命周期管理简介 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS允许您对桶设置生命周期规则,实现自动转换对象的存储类型、自动淘汰过期的对象,以有效利用存储特性,优化存储空
管理对象访问权限 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 对象访问权限与桶访问权限类似,也可支持预定义访问策略(参见桶访问权限)或直接设置。 对象访问权限(ACL)可以通过三种方式设置:
方案二: 登录CDN控制台的“域名管理”界面,在相应域名的“基本配置 > 源站配置”中,将“主源站”由“OBS桶域名”修改为“源站域名”,并将源站配置为OBS桶域名,HTTP端口:80,HTTPS端口:443。 方案二的配置以“源站域名”方式接入CDN,无法享受OBS针对CDN回
使用预签名URL直传OBS 方案架构 应用客户端每个请求都将向应用服务器申请预签名URL,该预签名URL有效期由应用服务器管理。具体流程如图1。 图1 移动应用访问OBS数据流程 角色分析如下: 应用客户端:即最终用户手机上的APP,负责向应用服务器申请包含预签名的URL,以及访问OBS完成数据上传或下载。
生命周期管理简介 生命周期管理是指通过配置指定的规则,实现定时删除桶中的对象或者定时转换对象的存储类别。 图1 生命周期管理示意图 生命周期管理可适用于以下典型场景: 周期性上传的日志文件,可能只需要保留一个星期或一个月。到期后要删除它们。 某些文档在一段时间内经常访问,但是超过
生命周期管理简介 生命周期管理是指通过配置指定的规则,实现定时删除桶中的对象或者定时转换对象的存储类别。 生命周期管理可适用于以下典型场景: 周期性上传的日志文件,可能只需要保留一个星期或一个月。到期后要删除它们。 某些文档在一段时间内经常访问,但是超过一定时间后就可能不再访问了
Key ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。对象存储服务系统通过接入键标识识别访问系统的用户。 SK:Secret Access Key,安全接入键,用户在对象存储服务系统中的安全接入键,是用户访
管理对象 列举对象 复制对象 配置和查看对象元数据 分享对象 匿名用户通过URL访问对象 恢复归档或深度归档存储对象 直读归档存储对象 对象标签 父主题: 对象管理