检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外
桶策略:桶策略是作用于所配置的OBS桶及桶内对象的。OBS桶拥有者通过桶策略可为IAM用户或其他账号授权桶及桶内对象的操作权限。 对象策略:主账号将对象的读写权限授权给该账号下的IAM用户。 ACL:OBS ACL是基于账号级别的读写权限控制,提供桶和对象的ACL配置。 桶策略 桶的拥有者可以通过编写桶策略(Bucket
下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 文件上传失败或上传任务暂停后,都会有碎片存储在OBS中,可以通过任务管理重新启动上传,实现断点续传。上传成功后,碎片将自动消失。
相关操作 系统配置 账号管理 访问路径 更新客户端版本
Data+ Data+已下线,如果需要使用数据处理服务,可使用数据工坊 DWR。 详情请参见数据工坊 DWR。 配置Data+ 自定义函数开发规范 预置模板参数说明 Data+最佳实践 父主题: 数据处理
agePolicy权限,如果使用桶策略则需授予PutBucketStoragePolicy权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、自定义创建桶策略。 OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。
机器的时间与NTP服务不同步)。 404 Not Found 请求的资源不存在 桶不存在; 对象不存在; 桶的策略配置不存在(桶CORS配置不存在、桶Policy配置不存在等); 分段上传任务不存在。 405 Method Not Allowed 请求的方法不支持 请求的方法/特性未在该桶所在的区域上线。
机器的时间与NTP服务不同步); 404 Not Found 请求的资源不存在 桶不存在; 对象不存在; 桶的策略配置不存在(桶CORS配置不存在、桶Policy配置不存在等); 分段上传任务不存在; 405 Method Not Allowed 请求的方法不支持 请求的方法/特性未在该桶所在的区域上线
一次性删除桶中的大量文件。手动删除对象费时费力,且有数量限制。在桶中配置一条生命周期管理规则,设置定时删除所有文件即可。 如果您需要大量的删除桶内对象,您可以设置生命的周期的过期删除,可定时删除桶内对象。在“生命周期规则”界面,按照表1参数创建规则: 表1 过期删除参数配置 参数 取值 状态 启用 规则名称 例如:rule-delete
rts √ √ 取消多段上传任务 取消多段上传任务 obs:object:AbortMultipartUpload √ √ 配置对象级WORM保护策略 配置对象级WORM保护策略 obs:object:PutObjectRetention √ √ 获取对象级WORM保护策略 获取对象元数据
件,您可以自定义事件模型。基于事件模型生成SDK,您可以通过编程实现快速消费事件。 事件目标:消费事件消息。 约束与限制 一个桶中最多同时配置10条EG通知。 一个桶的多条EG通知不允许重复,即任意对象在发生任意事件时都不能同时匹配两条以上的EG通知规则,重复规则会创建失败。 前提条件
直接访问OBS桶的访问域名,会产生公网流出流量。 访问CDN加速域名,CDN上源站类型配置“源站域名”,如果未命中CDN缓存,会产生OBS公网流出流量和CDN流量。 访问CDN加速域名,CDN上源站类型配置“OBS桶域名”,如果未命中CDN缓存,在购买了回源流量包的情况下会产生OBS回源流量和CDN流量。
API 桶的基础操作 桶的高级配置 静态网站托管 对象操作 多段操作 服务端加密 Data+
单个结果清单文件默认情况下最大为30MB且最大可保留的文件个数为1024,可在配置文件中通过recordMaxLogSize和recordBackups分别配置。 j 附加参数,批量恢复cold存储对象时可选 批量恢复cold存储对象的最大并发数,默认为配置文件中的defaultJobs。 说明: 工具会保证该值至少为1。
CDN下载 CDN下载简介 配置CDN下载
指定以自定义格式打印列举结果。当前仅支持值[default],指定列举结果在一行显示。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。
日志记录 访问日志记录简介 配置日志记录
在本地文件系统路径中创建文件夹时必选 本地文件系统中的文件夹路径,支持绝对路径和相对路径。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。
快速入门 准备环境 初始化配置 快速使用
trans_wm_tid 水印模板ID。可通过新建水印模板接口创建水印模板。 动态参数 (文字水印配置) trans_wm_text 文字水印内容,内容需做Base64编码,此配置项不能为空 示例:如果想添加文字水印“测试文字水印”,那么Content的值为:5rWL6K+V5paH5a2X5rC05Y2w