检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。
/log.conf'), '*** Your Log Name ***') # 使用ObsClient访问OBS服务 # 关闭ObsClient日志 obsClient.close() 父主题: 初始化(Python SDK)
可以为OBS桶绑定的自定义域名开启CDN加速,以实现更快的资源访问速度。 使用CDN加速会产生相应的流量费用,具体请参见CDN加速OBS计费规则。 实际产生的费用与用户访问所产生的流量大小有关,请根据自己的业务进行预估。
在ECS上通过内网访问OBS 在ECS上通过内网访问OBS方案概述 在Windows ECS上使用OBS Browser+通过内网访问OBS 在Linux ECS上使用obsutil通过内网访问OBS 父主题: OBS数据访问
OBS服务端错误码 在向OBS服务端发出请求后,如果遇到错误,会在响应中包含响应的错误码描述错误信息。
开启桶日志 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.setBucketLogging开启桶日志功能。
OBS如何实现备份和容灾? OBS通过如下方式实现备份和容灾: 创建桶时开启多AZ属性,用户数据冗余存储至多个AZ中。 通过跨区复制功能。用户可以将一个区域的桶中数据复制到另一个区域,实现云端备份。 将OBS中的数据下载到本地,本地备份数据。 父主题: 数据安全、迁移和备份
在服务列表中选择“存储 > 对象存储服务 OBS”。 在“对象存储”的桶列表中搜索访问失败的桶,单击桶名称,进入“对象”页面。 在左侧导航栏,单击“访问权限控制 > 桶ACLs”,查看已经配置的桶ACL。
OBS的企业项目用户组的细粒度授权为“OBS ReadOnlyAccess”和“OBS OperateAccess”。 归档数据直读 通过归档数据直读,您可以直接下载存储类别为归档存储的对象,而无需提前恢复。归档数据直读会收取相应的费用,详见产品价格详情。
OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。
如何在浏览器中在线预览OBS中的对象? 背景信息 基于安全合规要求,华为云对象存储服务OBS禁止通过OBS的默认域名(桶访问域名或静态网站访问域名)在线预览桶内对象,即使用上述域名从浏览器访问桶内对象(如视频、图片、网页等)时,不会显示对象内容,而是以附件形式下载。
示例如下,示例中的location为obs://obs-bucket/warehouse/hive/student。
OBS支持使用HTTPS协议访问吗? OBS对HTTPS的支持情况如下: OBS桶域名:支持,在浏览器中将桶或对象的URL的http替换成https即可。 OBS自定义域名:暂不支持,如需使用请提交工单。
OBS服务端错误码(C SDK) 在向OBS服务端发出请求后,如果遇到错误,会在响应中包含响应的错误码描述错误信息。
桶内无对象,为什么还会产生存储费用? OBS的计费项之一是存储费用。桶中的对象、已删除对象和碎片均会占用存储空间,进而产生存储费用。 检查是否存在已删除对象 什么是已删除对象? 在OBS管理控制台左侧导航栏选择“桶列表”。
OBS服务端错误码(Java SDK) 在向OBS服务端发出请求后,如果遇到错误,会在响应中包含响应的错误码描述错误信息。
类型:String 取值范围:[0, 1024] 否 agency IAM委托名,被委托方必须包含OBS服务,赋予的权限必须是DIS服务的DIS Administrator或DIS User。
OBS的企业项目用户组的细粒度授权为“OBS ReadOnlyAccess”和“OBS OperateAccess”。 归档数据直读 通过归档数据直读,您可以直接下载存储类别为归档存储的对象,而无需提前恢复。归档数据直读会收取相应的费用,详见产品价格详情。
OBS服务端错误码(Python SDK) 在向OBS服务端发出请求后,如果遇到错误,会在响应中包含响应的错误码描述错误信息。
crr 附加参数,可选 复制时使用客户端跨区域复制模式,以通过数据流的方式从源桶直接复制数据到目标桶,且两个桶可以是任意两个OBS服务的桶。 说明: 如果设置了该参数,必须确保更新了配置文件中客户端跨区域复制的相关配置信息,具体可参考更新配置文件。