检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
多版本控制简介(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 OBS支持保存一个对象的多个版本,您可以利用多版本控制,在一个桶中保留多个版本的对象。 多版本功能可以方便地检索和还原各个版本,在意外操作或应用程序故障时快速恢复数据。
js SDK)。 代码示例 本示例用于获取名为examplebucket桶下example/objectname 版本对象的ACL权限控制列表信息,对应的版本号是 G001117FCE89978B0000401205D5DC9A。 1 2 3 4 5 6 7 8 9
设置多版本对象权限(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 可以通过ObsClient.setObjectAcl接口指定VersionId参数设置多版本对象的访问权限,接口定义请参见设置对象ACL(Node
在OBS管理控制台左侧导航栏选择“桶列表”。 在桶列表单击目标桶的桶名称,进入“对象”页面。 在左侧导航栏,单击“访问权限控制>桶策略”,进入桶策略页面。 在“桶策略”页面,单击“创建”。 根据使用习惯,策略配置方式以可视化视图为例。单击“可视化视图”。 配置桶策略内容。 图1 配置桶策略 表1 桶策略配置说明
资源范围:当前桶、指定对象 指定对象 - 资源路径:*(*表示桶内所有对象) 授权操作 动作范围:自定义配置 选择动作:*(表示所有动作) 单击右下角的“创建”,完成桶策略创建。 权限配置信息可以在桶策略列表查看。 图4 查看桶策略列表权限配置信息 父主题: 企业数据权限控制最佳实践
isTruncated bool 参数解释: 表明本次请求是否返回了全部结果。 取值范围: true:表示没有返回全部结果。 false:表示已返回了全部结果。 默认取值: 无 parts list of Part 参数解释: 已上传段信息列表,详见Part。 默认取值: 无 encoding_type
1~1000,单位:个。 默认取值: 1000 isTruncated bool 参数解释: 表明本次请求是否返回了全部结果。 取值范围: true:表示没有返回全部结果。 false:表示已返回了全部结果。 默认取值: 无 prefix str 参数解释: 分段上传任务中的对象名
设置CDN加速后,处理过的图片存储在哪里? 用户通过CDN访问图片处理服务,CDN会对处理后的图片做缓存,此时处理后的图片存储在CDN。 当用户再次对该图片进行相同的处理时,由CDN直接返回处理后的效果,不会再次访问图片处理服务,也不会对此次图片处理请求进行计费。 父主题: 图片处理
OBS存储资源包使用超量后是否会限制对桶的写入 不会限制。 OBS桶具有“无限容量”,超出存储资源包部分会自动转为按需计费,或者您可以升配资源包、继续叠加购买资源包。叠加购买资源包的方法,请参考资源包叠加购买。 升配资源包的方法,请参考资源包升配。 父主题: 计费相关
境外数据传输回国场景下的丢包和网络稳定性问题 在数据跨境传输场景下,由于您所在的网络环境可能处在运营商网络边缘节点,向运营商网络请求成功率比较低,所以可能会出现丢包和网络稳定性问题。 建议您先使用跨区域复制或者云连接 CC将数据传输回国,然后再从国内访问和下载数据。 父主题: 产品咨询
2-linux-x86_64目录。 验证是否对接成功。 示例:以file为源端,以OBS为目的端。 创建配置文件file2obs.conf。参数说明见表1,更多详情请参见这里。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 input
abortMultipartUpload(params) 请求参数 表1 请求参数列表 参数名称 参数类型 是否必选 描述 input 表2 是 参数解释: 取消分段上传任务接口入参,详见表2。 表2 请求参数列表 参数名称 参数类型 是否必选 描述 Bucket string 必选
初始化OBS客户端(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 向OBS发送任一HTTP/HTTPS请求之前,必须先创建一个ObsClient实例: // 引入obs库 // 使用npm安装 const
资源范围:当前桶、指定对象 指定对象 - 资源路径:*(*表示桶内所有对象) 授权操作 动作范围:自定义配置 选择动作:*(表示所有动作) 单击右下角的“创建”,完成桶策略创建。 权限配置信息可以在桶策略列表查看。 图5 查看桶策略列表权限配置信息 父主题: 企业数据权限控制最佳实践
Response<BaseResponseOutput> 请求参数说明 表1 请求参数列表 参数名称 参数类型 是否必选 描述 input RenameObjectInput 必选 参数解释: 重命名对象接口入参,详见RenameObjectInput。 表2 RenameObjectInput 参数名称