检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
生命周期管理(Java SDK) 生命周期管理简介(Java SDK) 设置生命周期规则(Java SDK) 获取生命周期规则(Java SDK) 删除生命周期规则(Java SDK)
跨域资源共享(Java SDK) 跨域资源共享简介(Java SDK) 设置跨域资源共享规则(Java SDK) 获取跨域资源共享规则(Java SDK) 删除跨域资源共享规则(Java SDK)
36 37 38 39 40 41 42 43 44 import java.nio.charset.Charset; import java.security.MessageDigest; import java.security.NoSuchAlgorithmException;
false:表示不验证服务端证书。 默认为false。 N/A long_conn_param 长连接模式参数(单位:秒)。当该参数大于等于0时,开启长连接模式,并将该参数作为TCP Keep-Alive数据包的初始延迟。 默认为空,代表关闭长连接模式。 N/A is_cname 是否通过自定义域名访问OBS服务。默认为false。
如果桶内已存在同名对象,如何判定覆盖上传成功?(Java SDK) 上传完成后,您可以调用ObsClient.getObjectMetadata接口获取目标对象大小和最后修改时间,再与数据源进行比较: 如果两者大小一致且目标对象的最后修改时间晚于数据源的最后修改时间则表明上传成功,否则上传失败。
管理并行文件系统(Java SDK) 创建并行文件系统(Java SDK) 列举并行文件系统(Java SDK) 列举并行文件系统内对象(Java SDK) 修改写对象(Java SDK) 重命名对象(Java SDK) 截断对象(Java SDK)
列举并行文件系统内对象(Java SDK) 功能说明 您可以通过ObsClient.listObjects列举出指定并行文件系统里的对象。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 接口约束 您必须是并行文件系统拥有者或
本文档是否适用于union SDK? 本文档是与OBS SDK配套的参考文档,为了您能更好的使用Java SDK,推荐前往下载与安装SDK(Java SDK)下载最新版本的Java SDK。 父主题: 常见问题(Java SDK)
签。 鼠标移动到需要查询名称和ID的委托上,黑色框中出现的第一行为委托名称,第二行为委托ID。 图5 查看委托ID 父主题: 常见问题(Java SDK)
连接超时异常(Node.js SDK) 异常说明:调用接口时出现“connect ETIMEDOUT”错误,表明连接超时,其原因一般是服务地址(Endpoint)错误或网络不通导致无法连接OBS服务。 解决方案: 请检查服务地址是否为空,或者是非法的服务器地址。 请检查网络状况。
OBS性能优化建议 OBS按照对象名的UTF-8编码范围来进行分区管理,对系统进行水平扩展与动态负载均衡。如果用户在对象命名规则上使用了顺序前缀(如时间戳或字母顺序),可能导致大量对象的请求访问集中于某个特定分区,造成访问热点。热点分区上的请求速率受限,访问时延上升。 推荐使用随
Java SDK报错okhttp3.RequestBody.create(java.lang.String,okhttp3.MediaType) 问题现象 OBS Java SDK报错“okhttp3.RequestBody.create(java.lang.String,okhttp3
此外,对象存储服务OBS提供了OBSFileSystem插件(OBSA-HDFS),可与上层大数据平台无缝对接,实现业务零改造。 OBSFileSystem的主要作用:提供HDFS文件系统的相关接口实现,让大数据计算引擎(Hive、Spark等)可以将OBS作为HDFS协议的底层存储。 图2 存算分离方案中的OBSFileSystem
概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。
max_retry_count HTTP/HTTPS连接异常时的请求重试次数。默认为3次。 [1,5] socket_timeout Socket层传输数据的超时时间(单位:秒)。默认为60秒。 [10, 60] connect_timeout 建立HTTP/HTTPS连接的超时时间(单位:秒)。默认为60秒。
False:表示不验证服务端证书。 默认为False。 N/A chunk_size 读写socket流时的块大小(单位:字节),您可以根据自身需求设置块大小。默认为65536字节。 默认 long_conn_mode 是否启用长连接模式。默认为False。 N/A proxy_host 代理服务器的主机地址。默认为空。
配置CORS实现跨域访问OBS OBS提供HTML5协议中的CORS设置,帮助用户实现跨域访问。 您可以新建CORS规则,也可以从其他桶复制已有CORS规则。 背景知识 跨域是指不同域名之间相互访问。 跨域访问是浏览器出于安全考虑而设置的一个限制,即同源策略。由于JavaScri
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题: 大数据场景下使用OBS实现存算分离