检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
当月未用完的资源包用量是否会结转到下个月? 当前没有这种结转机制。 资源包每月重置规则说明: 按订购周期重置,即购买后每月同一天24:00:00重置资源额度。例如:您在4月15日任意时刻购买6个月的公网流出流量包2TB并支付,您在4月15日到5月15日24:00:00间就会有2T
应用示例二:由标准桶策略授权挂载桶的读写权限 通过标准桶策略可以授权挂载桶的读写权限。标准桶策略授权的为公共读写权限,即所有用户获取到权限。标准桶策略详细的读写权限如下: 表1 标准桶策略读写权限 参数 公共读 公共读写 效果 允许 允许 被授权用户 *(任何用户) *(任何用户)
无法搜索到桶中对象或对象不存在返回403 无法搜索到桶中对象,可能是由于您输入的搜索名称不正确: OBS管理控制台和OBS Browser+支持通过前缀搜索对象,例如,您搜索“test”,搜索结果为以前缀为“test”的对象。 如果您输入的不是待搜索对象名称的前缀,则搜索不到对象
取; domainID是使用密钥所属账号的账号ID,获取方法参见如何获取账号ID和用户ID?; key_id是从数据加密服务创建的密钥ID,获取方法请参见查看密钥。 默认取值: 如果用户没有提供该头域,那么默认的主密钥将会被使用。 如果默认主密钥不存在,将默认创建并使用。 表6 StorageClassType
out.println("HTTP Code:" + e.getResponseCode()); // 请求失败,打印服务端错误码 System.out.println("Error Code:" + e.getErrorCode());
选择“可视化视图”请跳转至5,如果选择“JOSN视图”请跳转至6。 在“策略内容”下配置策略,如图所示。 选择“允许”。 选择云服务,勾选“弹性文件服务(SFSTurbo)”。 选择“操作”,勾选只读操作“sfsturbo:shares:showShareNic”、“sfstur
应用示例三:由高级桶策略授权挂载桶的读写权限 通过高级桶策略可以授权挂载桶的读写权限。 高级桶策略授权权限时,必须开通的权限为HeadBucket、ListBucket、GetObject和GetObjectVersion,其他权限可根据需求开通。 操作步骤 登录OBS管理控制台。
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中,具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash,例如≥7.10.2的版本,避免使用较老版本的logstash。
配置生命周期管理策略 您可以为某个桶定义生命周期管理规则,来为该桶的对象定义各种生命周期规则。 操作步骤 登录OBS Browser+。 选中待配置的桶,单击“更多 > 生命周期规则”,如图1所示。 图1 生命周期规则 在“生命周期规则”窗口中单击“创建”,如图2所示。 图2 创建生命周期规则
如何理解Content-Type(MIME)(Node.js SDK) Content-Type(MIME)用于标识发送或接收数据的类型,浏览器根据该参数来决定数据的打开方式。Content-Type多用于指定一些客户端自定义的文件,以及一些媒体文件的打开方式。 如果您在上传Ob
SDK是否支持批量上传、下载或复制对象?(Java SDK) 不支持。 目前SDK暂未提供此类接口,您需要自己封装批量上传、下载或复制对象的业务代码。步骤如下: 列举出所有待上传、下载或者复制的对象。可参考列举对象章节,列举待下载的对象。 对列举出的对象调用单个对象的上传(上传对
签名不匹配(SignatureDoesNotMatch)如何处理 问题现象 调用OBS API报如下错误: 状态码:403 Forbidden 错误码:SignatureDoesNotMatch 错误信息:The request signature we calculated does
使用OBS Browser上传下载文件卡死 问题 使用OBS Browser上传下载大文件,上传下载一段时间后提示“max call stack size exceeded”。 使用OBS Browser上传文件夹,其中某个文件在上传完成后,操作系统返回IO状态异常,上传进度一直显示99
后台工程师能否导出我存储在OBS中的数据? 后台工程师无法导出用户数据。 访问桶或对象时,如果桶或对象未公开,只有桶或对象的拥有者才能够访问,访问时需要提供访问密钥(AK/SK)。 父主题: 数据安全、迁移和备份
并行文件系统挂载后,为何显示256T? 问题背景: 当您在客户端上执行“df -h”时,为了显示需要,系统则直接返回了256TB。 解释说明: 该数值实际上无任何意义,您可以使用的并行文件系统容量无限制。 父主题: 并行文件系统
创建跨区域复制规则后,为什么对象没有复制到目标桶中? 跨区复制规则没有开启“同步历史对象”功能的时候,桶中已有的对象不会复制到目标桶中。 新上传的对象存储类别为归档存储。 跨区域复制不保证时效性,配置跨区域复制规则后,可能会出现对象不会立即进行复制的情况,请耐心等待。 父主题: 跨区域复制
如何在不支持window.File的浏览器上传文件? 在不支持window.File的浏览器上(例如低版本的IE浏览器),不能使用ObsClient.putObject或ObsClient.uploadFile上传对象,如果要支持这类浏览器上传,请参考基于表单上传。 父主题: FAQ
OBS Browser+与OBS Browser的不同之处? OBS Browser+是OBS Browser的升级版,提供全新的UI界面,提供多种登录登出方式,全新的用户体验;OBS Browser+比OBS Browser性能更优,效率更高,体验更佳。 父主题: 常见问题
Hortonworks HDP对接OBS 部署视图 安装版本 硬件:1master+3core(配置:8U32G,操作系统:CentOS 7.5) 软件:Ambari:2.7.1.0,HDP:3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。