检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
51 52 53 54 55 56 import com.obs.services.ObsClient; import com.obs.services.exception.ObsException; import com.obs.services.model.PutObjectRequest;
如何获取OBS的终端节点? OBS可以通过域名进行访问,在使用API、第三方工具等方式使用OBS时,可通过域名方便定位OBS中的资源。 在使用OBS之前,请确保客户端环境已经正确配置DNS服务器地址,用于OBS域名解析。 不同的数据中心分配对应的域名,域名详情请参见地区和终端节点。
可以参考在Linux ECS上使用obsutil通过内网访问OBS,配置内网访问以节省流量费用。 相关参考 如何快速使用obsutil请参见快速使用章节。 如何借助obsutil的命令行进一步熟悉工具使用方法,请参见利用obsutil帮助命令查找工具功能章节。
支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题: 大数据场景下使用OBS实现存算分离
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
OBS工具汇总 对象存储服务(Object Storage Service,OBS)提供如表1所示工具,供用户使用。 表1 OBS工具一览表 工具 说明 应用场景 OBS Browser+ OBS Browser+是一款用于访问和管理对象存储服务的图形化工具,支持完善的桶管理和对象管理操作。OBS
及指导。 OBS之间数据迁移 本章节介绍如何在华为云对象存储服务OBS之间进行跨账号、跨地域、以及同地域内的数据迁移。 使用备份软件实现本地数据备份至OBS 本章节描述了备份本地数据至OBS的背景以及OBS支持的备份软件,并以Commvault备份软件为例,介绍了备份本地数据至OBS的基本流程。
说明 endpoint OBS的endpoint,例如 https://obs.cn-north-4.myhuaweicloud.com http://obs.cn-north-4.myhuaweicloud.com access_key_id 具备访问OBS权限的ak。 secret_access_key
桶和对象相关 创建桶失败 上传对象失败 下载对象失败 删除桶失败 删除对象失败 通过URL访问对象失败 如何在浏览器中在线预览OBS中的对象? 我可以修改对象名称吗? 我可以在线编辑OBS中的对象吗? 如何获取对象访问路径? 我可以修改桶所在的区域吗? 如何修改桶所属的企业项目?
服务韧性 OBS提供五级可靠性架构,通过跨区域复制、AZ之间数据容灾、AZ内设备和数据冗余、存储介质的慢盘/坏道检测等技术方案,保障数据的持久性和可用性。 OBS的数据持久性高达99.9999999999%(12个9),可用性高达99.995%,远高于传统架构。 图1 五级可靠性架构保证数据稳定,业务可靠
如何购买对象存储服务? 对象存储服务提供按需计费和包年包月两种计费模式。用户可以根据实际需求购买OBS服务。 OBS开通时,默认按照按需计费(使用量按小时计费),同时也支持包年包月(资源包)的方式提前购买使用额度和时长,获取更多的优惠。您可以单击“产品价格详情”查看计费标准。 前提条件
使用源码安装时引入SDK代码库 // require 'obs-autoloader.php'; // 声明命名空间 use Obs\ObsClient; // 创建ObsClient实例 $obsClient = new ObsClient([ //推荐通过环境变量获取
scovery服务里注册。这样可以简化部署,不需要额外的服务,Presto的coordinator内置一个Discovery服务。 discovery.uri:Discovery服务的URI。将example.net:8080替换为coordinator的host和端口。这个UR
obsfs简介 obsfs工具于2024年7月1日下线,下线后OBS不再对此工具提供维护和客户支持服务,请使用s3fs将OBS对象桶挂载至Linux系统,给您带来不便敬请谅解。如有问题请提交工单寻求技术支持。 obsfs是对象存储服务 (Object Storage Servic
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
如何获取对象URL? 按https://桶名.域名/文件夹目录层级/对象名的方式进行拼接。 如果该对象存在于桶的根目录下,则链接地址将不需要有文件夹目录层级。 各区域对应的域名可以从这里的终端节点查看。 例如需访问区域为“华北-北京四”的桶名为“testbucket”中“test”文件夹下对象名为“test
建议使用跨区域复制构建异地数据容灾能力 有些数据需要异地备份存储,跨区域复制为您提供跨区域数据容灾的能力,满足您将数据复制到异地进行备份的需求。详情请参见跨区域复制。 确保您的数据在传输到OBS过程中不被窃取和篡改 建议使用HTTPS协议访问OBS,确保数据传输过程中不被窃取和破坏 HTTPS(超文本传
创建访问密钥(AK和SK) 本节介绍如何通过OBS管理控制台创建访问密钥(AK和SK),访问密钥(AK和SK)用于对请求加密签名,确保请求的机密性、完整性和请求双方身份的正确性。 背景知识 AK和SK支持IAM的认证机制,以下是对AK和SK的解释说明: AK:Access Key
上传段,拷贝段,合并段 PUT上传 POST上传 追加写对象 初始化上传段任务 上传段 合并段 obs:object:PutObject √ √ 复制对象 复制对象 obs:object:GetObject obs:object:PutObject √ √ 获取对象内容和对象元数据