检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
算分离方案。 图1 基于OBS的华为云大数据存算分离方案 华为云大数据存算分离方案基于对象存储服务OBS的大容量高带宽能力,以及多协议共享访问技术(HDFS/POSIX/OBS API),实现Hadoop生态多计算引擎(Hive、Spark等)兼容对接。 方案优势 相比传统企业在
资源。数组长度不超过10,每个字符串长度不超过128,规则如下: 可填 * 的五段式:::::,例:"obs:::bucket:*"。 region字段为*或用户可访问的region。service必须存在且resource属于对应service。 当该自定义策略为委托自定义策略时,该字段类型为Object,值为:"Resource":
的对象,例如 texta/file1.txt 和 texta/file2.txt。 此规则指定了两种生命周期操作:在对象创建90天后将其转换为低频访问存储类型,在对象创建120天后将其删除。 xml: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 <
Map 函数执行必须的参数,可用于传入调用的服务。 表2 函数的环境变量 名称 是否必选 参数类型 说明 region 否 String 当前区域名称。 函数输入的JSON示例 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
勾选:表示桶策略对除指定动作外的其他动作生效。 对于桶策略模板,“桶读写”模板默认勾选,其他模板默认不勾选。桶策略模板中的动作排除策略不支持修改。 单击界面右下角的“创建”,完成桶策略创建。 父主题: 配置桶策略
可能返回不一致的结果。比如,当多个客户端并行上传同一个对象时,系统最后收到的上传请求会覆盖前一个上传的对象。如果需要避免同一个对象被并行访问,需要在上层应用中增加对象的锁机制。 并发操作举例 1. 当客户端2正在上传一个对象v1时,客户端1同时上传一个同名的对象v2成功后,不管
如果需要授权多个桶,则将需要的桶都迁移到企业项目中即可。 图1 将目标桶迁入目标企业项目 选择“权限管理 ”。单击“用户授权”。 图2 为企业用户添加授权 进入IAM用户界面,找到目标用户test-user。 图3 找到目标IAM用户 单击“操作”列下的“授权”,进入授权页面。选择“直接给用户授权(适用于企业项目授权)”。
列举桶内对象 功能介绍 对桶拥有读权限的用户可以执行获取桶内对象列表的操作。 如果用户在请求中只指定了桶名,则返回信息中会包含桶内部分或所有对象的描述信息(一次最多返回1000个对象信息);如果用户还指定了prefix、marker、max-keys、delimiter参数中的一
*error){ NSLog(@"%@",response.etag); }]; 调用getObject返回一个OBSObject实例,该实例包含对象内容及其属性。 更多下载对象的信息,请参见下载对象。 父主题: 快速入门
Container 否 参数解释: 恢复选项的容器。 约束限制: 无 取值范围: 无 默认取值: 无 Tier String 否 参数解释: 恢复选项,用户可根据需求选择恢复选项,不同的恢复选项恢复耗时不同。 说明: 对于深度归档对象,大批量恢复建议使用标准恢复,且对象最终恢复时间受对象大小以及取回数据量的影响。
可以选中目标对象,并单击右侧的“删除”删除对象。对象被删除后,OBS将插入一个删除标记,对象在“已删除对象”列表中呈现。详细操作请参见删除对象。此时如果访问该对象,会返回404错误。 图3 删除标记示意图 删除带删除标记的对象可恢复该对象。详细操作请参见相关操作。 在“已删除对象”列表,选中对
运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。 t 附加参数,可选 指定用户的securitytoken。 响应结果: 字段名 描述 Parallel 请求中的-p参数。 Jobs
桶管理 桶概述 创建桶 复制已有桶的配置快速创建桶 列举桶 查看桶信息 管理桶配额 桶用量统计 桶标签 删除桶
数据处理 图片处理 Data+ 在线解压
在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。 在左侧导航栏选中“Data+ > 工作流”,进入“工作流”页面。第一次进入时需要进行“统一授权”。 单击界面右上角的“创建工作流”,进入“工作流编排”页面。 将左侧预置的模板或自定义的函数拖拽至编排区域,同时在右侧属性面板配置基本属性和动态参数,
移动文件或文件夹 用户可根据需要将存储在OBS上的文件或文件夹移动到其他路径下。 操作步骤 登录OBS Browser+。 选中待配置的桶,右键单击需要移动的文件或文件夹,并选择“移动”。 选择存放文件或文件夹的路径后,单击右键并选择“粘贴”。 不支持移动外部桶中的文件或文件夹。
上传 上传概述 流式上传(PUT上传) 表单上传(POST上传) 多段上传 断点续传 追加写对象 授权第三方上传 查看上传进度 使用上传回调获取对象信息 父主题: 对象管理
字符长度不可超过512,否则会导致解压失败。 目前不支持解压加密ZIP包。 不支持企业联邦用户使用在线解压功能,更多关于联邦用户的相关信息请参考华为云账号、华为账号、IAM用户、企业联邦用户的关系和身份提供商概述。 注意事项 建议设置精准的前缀,同一个桶下的不同触发条件不能包含或
清单文件使用OBS系统用户上传到目标桶,目标桶必须给OBS系统用户写权限,即目标桶必须包含一条Principal取值则固定为{"Service": "obs"},授予写权限的桶策略,详见为目标桶添加桶策略。 其他: 暂不对桶清单功能收费,桶清单生成后只按照存量计费。 不支持联邦用户使用桶清单。
删除对象 删除OBS桶中的对象 取消删除对象 清理碎片 父主题: 对象管理