检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置OBSA-HDFS插件。 在官方Github下载OBSA-HDFS插件:下载地址,然后拷贝到extensions/druid-hdfs-storage/ 目录。
单击“安装插件”,选择上传本地的插件zip文件。 上传完成后,可以在插件列表中看到已上传的插件。 选择左侧导航栏“设置”页签。 进入“华为云OBS设置”页面,设置插件的使用参数。 配置项 参数设置 AccessKey 用户访问密钥中的AK。
使用建议 对于并行文件系统目录,大数据场景下(目录层级深、目录下文件多)的删除,可能会因超时而删除失败,建议使用: hadoop 客户端(嵌套OBS客户端插件OBSA)删除目录:hadoop fs - rmr obs://{并行文件系统名}/{目录名} 给目录配置生命周期规则,通过生命周期后台删除
建议使用: hadoop 客户端(嵌套OBS客户端插件OBSA)删除目录:hadoop fs - rmr obs://{并行文件系统名}/{目录名}。 给目录配置生命周期规则,通过生命周期后台删除。 父主题: 对象操作
obsutil下载文件夹前期速度正常,下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsfs挂载并行文件系统失败 更多 技术专题 技术、观点、课程专题呈现 对象存储专题 汇聚云图说、视频、最佳实践,带您玩转华为云OBS GO语言深入之道 介绍几个Go语言及相关开源框架的插件机制
对于并行文件系统目录,大数据场景下(目录层级深、目录下文件多)的删除,可能会因超时而删除失败,建议使用: hadoop 客户端(嵌套OBS客户端插件OBSA)删除目录:hadoop fs - rmr obs://{并行文件系统名}/{目录名}。
购买了回源流量包是否还需要购买公网流出流量包? 回源流量包用于抵扣使用OBS作为华为云CDN加速域名源站时,CDN向源站OBS获取文件产生的回源流量费用。 公网流出流量包用于抵扣通过互联网从OBS下载数据到本地所产生的公网流出流量费用。 不同场景产生的流量类型如下: 用户在控制台执行对象下载和其他查询类操作
依赖缺失 通过 maven 等包管理插件引入 OBS SDK 时,包管理工具会自动下载相关依赖,其他情况下需要您自行下载依赖包并添加至工程,最新版 SDK 依赖的三方组件与版本如下: 依赖库名称 版本号 作用 okhttp 4.11.0 发送HTTP请求的组件 okio 3.5.0
支持的API列表 OBSFileSystem插件(OBSA-HDFS) 基于对象存储服务作为统一数据湖存储的大数据场景,需与OBSFileSystem插件(OBSA-HDFS)搭配使用。
本文介绍如何通过插件,将WordPress远程附件存储到华为云OBS。 数据处理 CDN下载加速 该方案可以自动将存储在OBS中的数据按需缓存至各地CDN节点,有效加速实现静态资源访问和下载加速。
查询账单时,为什么会有大量的公网流出流量? 根据账单的使用量类型来区分,OBS的公网流出流量主要包含标准存储公网流出流量、低频访问存储公网流出流量、归档存储公网流出流量、深度归档存储公网流出流量。 这几种公网流出流量产生的流量费用来源如下: 标准存储公网流出流量:通过互联网下载标准存储对象
应用场景 大数据分析 场景描述 OBS提供的大数据解决方案主要面向海量数据存储分析、历史数据明细查询、海量行为日志分析和公共事务分析统计等场景,向用户提供低成本、高性能、不断业务、无须扩容的解决方案。 海量数据存储分析的典型场景:PB级的数据存储,批量数据分析,毫秒级的数据详单查询等
已购买资源包,为什么仍然扣费? 问题描述 已经购买了OBS包年包月资源包,使用过程中仍然产生了按需费用。 排查思路 以下排查思路根据原因的出现概率进行排序,建议您从高频率原因往低频率原因排查,从而帮助您快速找到问题根因。 如果处理完某个可能原因仍未解决问题,请继续排查其他可能原因。
流量费用 流量是在使用和访问对象存储服务OBS时,产生的数据流量累计值。流量包括内/公网流入流量、内网流出流量、公网流出流量、跨区域复制流量、回源流量等。OBS会根据您实际使用时产生的流量进行费用收取。 计费说明 资费项 计费项 含义 适用的计费模式 流量费用 内/公网流入流量 通过内网或互联网上传数据到
将WordPress远程附件存储到OBS 本章节介绍如何通过插件,将WordPress远程附件存储到华为云OBS。 Web端通过PostObject接口直传OBS 本章节介绍一种在Web端利用PostObject接口直传文件至OBS的方法,即使用表单上传方式上传文件至OBS。
下载客户端 下载服务端 下载hadoop-huaweicloud插件:下载地址。 执行以下命令,解压Presto服务端。 tar –zxvf presto-server-333.tar.gz 在presto根目录/plugin/hive-hadoop2下放入如下两个jar包。
对所有账号授予指定对象的读权限 场景介绍 某公司A使用OBS存储了大量全球各地的地图数据,这些数据需要对外开放供所有人查阅。在这种情况下,该公司便可以为这部分数据设置所有账号的读取权限,然后将这些数据对应的URL公开在互联网上,所有人就可以使用这个URL访问或下载这些公开数据了。
此外,对象存储服务OBS提供了OBSFileSystem插件(OBSA-HDFS),可与上层大数据平台无缝对接,实现业务零改造。
对所有账号授予指定目录的读权限 场景介绍 当一个文件夹下的对象都需要授权所有账号访问权限时,可以通过桶策略配置授予所有账号访问文件夹内对象的权限。 配置须知 本案例预置的“目录只读”模板允许所有账号(所有互联网用户)对指定目录执行以下权限: GetObject:获取对象内容、获取对象元数据
对所有账号授予桶的公共读权限 场景介绍 当某个桶需要授权所有账号访问权限时,可以通过桶策略和桶ACL配置授予所有账号访问桶的权限。本示例以桶策略为例。 配置须知 本案例预置的“公共读”模板允许所有账号(所有互联网用户)对整个桶及桶内所有对象执行以下权限: HeadBucket:判断桶是否存在