检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
使用obsutil实现目录分享 目录分享允许桶的拥有者将桶的目录或者整个桶以授权码+提取码的形式分享给其他用户。获取到授权码和提取码的用户,可以在授权码的有效期内通过OBS提供的工具(OBS Browser、obsutil),或者直接在浏览器上输入授权码进行对象的列举和下载。 ob
Development Kit)是对OBS服务提供的REST API进行的封装,以简化用户的开发工作。用户直接调用OBS SDK提供的接口函数即可实现使用OBS服务业务能力的目的。 同时,我们针对不同语言的SDK提供了开发指南和API参考。开发指南详细介绍了SDK的安装、开发操作、参数、示例和常见
您可以利用OBS SDK提供的进度监听功能实现一个进度条,来获取指定对象的上传进度,从而预估剩余时间。 使用方式 OBS支持通过SDK获取上传进度。 Java Python C不支持 Go不支持 BrowserJS .NET Android iOS不支持 PHP不支持 Node.js不支持 父主题:
ag头域,解决方法:按照文档配置桶的CORS为桶配置完整的CORS配置; 桶的CORS配置中ExposeHeader包含ETag头域,但浏览器的返回结果屏蔽了ETag头域(一般发生在低版本的浏览器),解决方法:升级到高版本且完全支持HTML5的浏览器。 ObsClient未定义 Uncaught
fill:指定一个w和h的矩形,将图片进行等比缩放,取在延伸区域的最小图片,并进行居中剪切。即将mfit缩略类型的图片进行居中剪裁。 pad:指定一个w和h的矩形,将图片进行等比缩放,取在矩形内最大的图片,并在矩形空白处进行颜色填充。即lfit缩略类型的图片在矩形空白处进行颜色填充。 fixed:强制按照固定的宽高进行缩略。
例如:如果原图质量为100%,将图片压缩至80%的相对质量,则目标图片的质量为80%。如果原图的质量为80%,将图片压缩至80%的相对质量,则目标图片的质量为64%。 image/resize,w_100,h_100/quality,q_80 Q 图片的绝对质量,即直接将图片压缩为Q
通过此操作可以忽略请求参数非法、图片超过处理限制等错误,直接返回原图。 操作名称:ignore-error 表1 忽略错误参数说明 参数 取值说明 代码样例 value 取值为0或1。默认值为0。 0:不忽略报错。遇到错误时,服务端正常返回报错信息。 1:忽略报错。当出现请求参数非法、图片超过处理限
使用备份软件实现本地数据备份至OBS 使用场景 传统的备份与恢复方案需要将备份数据写入磁带等存储设备,然后再运输至数据中心。在此过程中数据的安全及完整性依赖很多因素,比如硬件、人员等等。无论是从前期搭建数据中心还是后期的维护,都使得传统的备份与恢复方案面临着管理复杂、投入成本高的难题。
户端跨区域复制的相关配置信息,具体可参考更新配置文件。 复制时源桶对应的配置信息为配置文件中的:akCrr/skCrr/tokenCrr/endpointCrr,目标桶对应的配置信息为配置文件中的:ak/sk/token/endpoint; 对于同一账号下不同区域的桶,也可以按照
格式转换与渐进显示 格式转换 此功能在控制台图形界面模式和代码编辑模式使用,也支持通过接口调用模式使用。可以将原图转换为支持的图片格式,具体说明如表1所示。 支持的原图格式:jpg、jpeg、png、bmp、webp、gif、tiff。 支持输出的目标图格式:jpg、png、bmp、webp。
com * 允许的方法 必选参数,指定允许的跨域请求方法,即桶和对象的几种操作类型。包括:Get、Post、Put、Delete、Head。 全选 允许的头域 可选参数,指定允许的跨域请求的头域。只有匹配上允许的头域中的配置,才被视为是合法的CORS请求。 允许的头域可设置多个,
基于浏览器上传的表单中携带签名 功能介绍 OBS服务支持基于浏览器的POST上传对象请求,此类请求的签名信息通过表单的方式上传。计算POST表单上传请求的签名,需要先定义一个安全策略(policy),这个安全策略的作用是限制表单上传的内容,例如规定表单上传对象的对象名前缀必须以“
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
使用OBS SDK上传超过5GB的大文件失败 OBS服务端上传对象接口有规格限制,单次可上传的最大文件为5GB,如果需要上传超过5GB的大文件,需要通过OBS服务端提供的分段上传接口实现。具体步骤为: 调用OBS服务端初始化上传段任务接口,生成分段上传ID(Upload ID)。
对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题: 大数据场景下使用OBS实现存算分离
对象URL(对象共享)功能,可实现匿名用户通过对象共享链接地址,直接访问对象数据。 前提条件 已通过OBS管理控制台设置匿名用户读取该指定对象的权限。对象ACL权限设置请参考ACL章节。 操作步骤 登录OBS Browser+。 选中待配置的对象,单击需要共享的对象右侧的图标,如下图1、图2所示。 图1
件时不会产生一致性问题,但是OBS实现的HDFS协议不支持租约Lease机制(并发写同一个文件时将产生不可确定的状态),所以在flume场景下可以通过文件命名规则进行解决。 如sink文件的命名规则:hostname-sinkname作为文件的前缀,如果一个主机上部署了多个flume
手动编码计算签名 使用SDK计算签名 OBS SDK内部已实现签名,因此您在使用SDK访问OBS时,无需关注签名问题。各语言SDK实现签名计算的源码如表2所示: 表2 OBS SDK Header携带签名的实现 SDK 签名实现源文件 Java RestStorageService.java
/esdk-obs-browserjs-without-polyfill-x.x.x.min.js"></script> SDK内部集成了axios作为HTTP库,该库依赖于promise特性。 dist文件夹中包含两个版本的SDK库文件,如果使用的浏览器不支持promise特性(例如IE10、IE11),请引