检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
算分离方案。 图1 基于OBS的华为云大数据存算分离方案 华为云大数据存算分离方案基于对象存储服务OBS的大容量高带宽能力,以及多协议共享访问技术(HDFS/POSIX/OBS API),实现Hadoop生态多计算引擎(Hive、Spark等)兼容对接。 方案优势 相比传统企业在
合并段 功能介绍 如果用户上传完所有的段,就可以调用合并段接口,系统将在服务端将用户指定的段合并成一个完整的对象,了解完整的分段上传流程请参见分段上传。在执行“合并段”操作以前,用户不能下载已经上传的数据。在合并段时需要将多段上传任务初始化时记录的附加消息头信息拷贝到对象元数据中
对当前账号下多个IAM用户或用户群组授权 对IAM用户组授予OBS所有资源的所有操作权限 对IAM用户组授予OBS所有资源的基本操作权限 对IAM用户组授予OBS所有资源的指定操作权限 对IAM用户组授予OBS指定资源的指定操作权限 对IAM用户组授予OBS指定文件夹的指定操作权限
资源。数组长度不超过10,每个字符串长度不超过128,规则如下: 可填 * 的五段式:::::,例:"obs:::bucket:*"。 region字段为*或用户可访问的region。service必须存在且resource属于对应service。 当该自定义策略为委托自定义策略时,该字段类型为Object,值为:"Resource":
桶管理 桶概述 创建桶 快速为新桶复制已有桶的配置 列举桶 查看桶信息 管理桶配额 桶用量统计 桶标签 删除桶
Container 否 参数解释: 恢复选项的容器。 约束限制: 无 取值范围: 无 默认取值: 无 Tier String 否 参数解释: 恢复选项,用户可根据需求选择恢复选项,不同的恢复选项恢复耗时不同。 说明: 对于深度归档对象,大批量恢复建议使用标准恢复,且对象最终恢复时间受对象大小以及取回数据量的影响。
数据管理 生命周期 桶清单 事件通知 使用数据回源获取源站数据 静态网站托管 重定向请求 跨区域复制
运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。 t 附加参数,可选 指定用户的securitytoken。 响应结果: 字段名 描述 Parallel 请求中的-p参数。 Jobs
权限控制 配置IAM权限 配置桶策略 配置对象策略 配置桶ACL 配置对象ACL
监控与日志 使用CES监控OBS桶 使用CTS审计OBS操作事件 使用桶日志记录OBS日志信息
存储类别 存储类别概述 设置桶和对象的存储类别 转换桶和对象的存储类别
数据处理 图片处理 Data+ 在线解压
移动文件或文件夹 用户可根据需要将存储在OBS上的文件或文件夹移动到其他路径下。 操作步骤 登录OBS Browser+。 选中待配置的桶,右键单击需要移动的文件或文件夹,并选择“移动”。 选择存放文件或文件夹的路径后,单击右键并选择“粘贴”。 不支持移动外部桶中的文件或文件夹。
删除文件或文件夹 用户可根据需要删除已有文件或文件夹。 背景知识 删除文件夹时,文件夹内的文件也将同时被删除,请务必确认这些文件可以被删除。 删除无用的文件或文件夹可节省空间和成本。 用户上传到OBS的某些文件,可能需要定期删除,对于这类删除文件的场景,可通过OBS的生命周期管理
对象管理 对象概述 上传对象 下载对象 使用单链接限速限制下载流量 在线预览对象 管理对象 删除对象 管理文件夹
Data+ Data+已下线,如果需要使用数据处理服务,可使用数据工坊 DWR。 详情请参见数据工坊 DWR。 配置Data+ 自定义函数开发规范 预置模板参数说明 Data+最佳实践 父主题: 数据处理
当一个桶启用了日志记录功能后,OBS自动将该桶的日志按照固定的命名规则,生成一个对象写入用户指定的桶。 前提条件 日志投递用户组对目标桶具有“写入权限”和“查看ACL权限”。权限设置方法请参见配置桶ACL。 操作步骤 登录OBS Browser。 选中待配置的桶,单击“更多 > 日志记录”。 勾选“启用”,如图1所示。
清单文件使用OBS系统用户上传到目标桶,目标桶必须给OBS系统用户写权限,即目标桶必须包含一条Principal取值则固定为{"Service": "obs"},授予写权限的桶策略,详见为目标桶添加桶策略。 其他: 暂不对桶清单功能收费,桶清单生成后只按照存量计费。 不支持联邦用户使用桶清单。
字符长度不可超过512,否则会导致解压失败。 目前不支持解压加密ZIP包。 不支持企业联邦用户使用在线解压功能,更多关于联邦用户的相关信息请参考华为云账号、华为账号、IAM用户、企业联邦用户的关系和身份提供商概述。 注意事项 建议设置精准的前缀,同一个桶下的不同触发条件不能包含或
管理桶配额 使用场景 默认情况下,OBS系统和单个桶都没有总数据容量和对象数量的限制。您可以通过为桶设置配额限制来控制桶内允许上传的对象总容量,超过设置的对象容量后,上传对象会失败。 桶配额只对设置生效后的对象上传操作有限制, 如果设置的桶配额数值小于已经上传的对象容量,不会删除