检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。
默认取值: 无 contentMd5 String 可选 参数解释: 对象数据的MD5值(经过Base64编码),提供给OBS服务端,校验数据完整性。OBS服务端会将该MD5值与对象数据计算出的MD5值进行对比,如果不匹配,返回HTTP 400错误。
如何获取OBS的终端节点? OBS可以通过域名进行访问,在使用API、第三方工具等方式使用OBS时,可通过域名方便定位OBS中的资源。 在使用OBS之前,请确保客户端环境已经正确配置DNS服务器地址,用于OBS域名解析。 不同的数据中心分配对应的域名,域名详情请参见地区和终端节点。
如何购买对象存储服务? 对象存储服务提供按需计费和包年包月两种计费模式。用户可以根据实际需求购买OBS服务。 OBS开通时,默认按照按需计费(使用量按小时计费),同时也支持包年包月(资源包)的方式提前购买使用额度和时长,获取更多的优惠。您可以单击“产品价格详情”查看计费标准。
典型场景配置案例 权限典型场景一览 对当前账号下单个IAM用户授权 对当前账号下多个IAM用户或用户群组授权 对其他账号授权 对所有账号授权 临时授权访问OBS 让IAM用户只能看到被授权的桶 限制指定的IP地址访问桶
快速入门(Go SDK) 准备访问密钥 OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。
403 Forbidden 拒绝访问 客户端请求中携带的签名和服务端计算出的签名不匹配(一般是AK/SK错误); 权限不足(账号对请求的资源无权限); 账号欠费; 桶的空间不足(出现在对桶设置了配额的场景); 无效的AK; 客户端时间和服务端时间相差过大(客户端所在机器的时间与NTP
结构体说明 表1 EventDef结构体参数说明 名称 是否必选 参数类型 描述 payload_filter_request 否 String 参数解释: 事件的参数过滤路径。 约束限制: 必须是合法的JSONPath格式 默认取值: $ payload_filter_response
触发器策略管理 配置桶触发器(Python SDK) 查询桶触发器(Python SDK) 删除桶触发器(Python SDK) 父主题: 服务编排接口(Python SDK)
通过OBS Browser+图形化工具快速使用OBS OBS Browser+是一款图形化工具,可以非常方便地让用户在本地对OBS的数据进行管理。 本章节以上传一个文件至“test-example-bucket”桶为例,帮助您快速通过OBS Browser+使用OBS的基础功能,包括创建桶
工作流实例管理 查询工作流实例列表(Python SDK) 查询工作流实例(Python SDK) 恢复失败状态的工作流实例 父主题: 服务编排接口(Python SDK)
OBS提供按需和资源包两种计费方式,充值或购买资源包即开通OBS服务。成功开通OBS后即可进行访问和使用。如果您已有账号且账号已开通OBS服务,可以略过此部分内容。 打开华为云网站www.huaweicloud.com。 注册账号。 使用OBS前需注册一个华为账号。
跨域资源共享简介(Java SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 跨域资源共享(CORS)允许Web端的应用程序访问不属于本域的资源。OBS提供接口方便开发者控制跨域访问的权限。
资源包概述 资源包说明 您也可以通过包年包月(资源包)的方式,提前购买使用额度和时长,获取更多的优惠。超出资源包的部分自动转按需计费。如何购买资源包? 对象存储服务暂不支持退订资源包,建议您在购买资源包前提前规划资源的使用额度和时长。
OBS服务环境搭建 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 注册云服务账号 使用OBS之前必须要有一个云服务账号。 打开浏览器。 登录公有云网站。 在页面右上角单击“注册”
单击“资源包列表”页签,通过筛选资源包名称/资源包ID/订单号,您可以查看到您所购买的资源包的剩余量,并且可以导出使用明细。 图2 资源包剩余量 单击“剩余量汇总”页签,筛选区域和企业项目,选择“对象存储服务”,您可以查看到您所购买的资源包类型的剩余量汇总情况。
授予账号权限后,账号下所有具有OBS资源权限的IAM用户都可以拥有此桶/对象的访问权限。 当需要为不同IAM用户授予不同的权限时,可以通过桶策略配置。 拥有者 桶的拥有者是指创建桶的账号。
跨域资源共享 跨域资源共享简介 设置跨域规则 查看跨域规则 删除跨域规则
云监控服务(Cloud Eye Service) Cloud Eye控制台监控指标 通过CTS服务收集OBS资源操作记录,便于日后的查询、审计和回溯。 云审计服务(Cloud Trace Service,CTS) 审计 标签用于标识OBS中的桶,以实现对OBS中的桶进行分类。
查询工作流(Python SDK) 功能说明 按名称查询工作流。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义 WorkflowClient.getWorkflow(graphName) 请求参数 表1 请求参数列表 名称