检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"Effect": "Allow" } ] 创建IAM委托，委托其它云服务访问桶mybucket。例如，委托OBS，绑定系统策略OBS FullAccess，也可以创建自定义策略并绑定该委托。 配置桶mybucket的桶策略如下： 只允许桶mybucket中的对象被VPC1内的服务器或者委
name="本地连接" source=static addr=内网DNS服务器地址 register=primary 本地连接：网卡名称，需要根据实际正在使用的网卡进行修改。 内网DNS服务器地址：需要根据ECS所在区域选择内网DNS服务器地址，具体的地址信息请参见华为云提供的内网DNS服务器地址。
使用obsutil实现客户端跨区域复制 obsutil支持使用客户端跨区域复制模式进行复制，即通过数据流的方式从源桶直接复制数据到目标桶，且两个桶可以是任意两个OBS服务的桶；借助客户端跨区域复制模式即可实现相同账户下不同区域桶或不同账户间桶内对象的复制；跨账号复制对象具体步骤如下：
使用obsutil实现目录分享 目录分享允许桶的拥有者将桶的目录或者整个桶以授权码+提取码的形式分享给其他用户。获取到授权码和提取码的用户，可以在授权码的有效期内通过OBS提供的工具（OBS Browser、obsutil），或者直接在浏览器上输入授权码进行对象的列举和下载。 o
此外，对象存储服务OBS提供了OBSFileSystem插件（OBSA-HDFS），可与上层大数据平台无缝对接，实现业务零改造。 OBSFileSystem的主要作用：提供HDFS文件系统的相关接口实现，让大数据计算引擎（Hive、Spark等）可以将OBS作为HDFS协议的底层存储。 图2 存算分离方案中的OBSFileSystem
您在配置OBS桶的自定义域名后没有完成CNAME解析。 配置OBS桶的自定义域名分为两步： 配置自定义域名：实现OBS桶域名和自定义域名绑定。 配置解析CNAME：实现OBS桶域名和自定义域名的映射。 具体请参见通过自定义域名访问桶。 父主题： 域名管理
OBS性能优化建议 OBS按照对象名的UTF-8编码范围来进行分区管理，对系统进行水平扩展与动态负载均衡。如果用户在对象命名规则上使用了顺序前缀（如时间戳或字母顺序），可能导致大量对象的请求访问集中于某个特定分区，造成访问热点。热点分区上的请求速率受限，访问时延上升。 推荐使用随
云服务器ECS和弹性负载均衡ELB组成的视频监控处理平台将视频流切片后存入OBS，后续再从OBS下载历史视频对象传输到观看视频的终端设备。存放在OBS中的视频文件还可以利用跨区域复制等功能进行备份，提升数据存储的安全性和可靠性。 建议搭配服务 弹性负载均衡 ELB，弹性云服务器 ECS
概述 Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“数据湖”存储。
在已搭建的ECS上通过配置内网DNS，由内网DNS解析OBS域名，即可实现在ECS上经由内网访问OBS。访问过程示意图如图1所示。 图1 内网访问OBS示意图 对于Windows ECS，推荐使用OBS Browser+工具，实现内网访问OBS的目的，详细操作请参见： 在Windows ECS上使用OBS
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
OBS不限速，obsutil也不会对客户数据传输进行限流。 采用obsutil进行文件上传下载，如果通过公网，受公网带宽限制；如果通过内网，受网卡、磁盘IO及是否有其它进程抢占资源的限制。 如果出现上传下载速度慢的问题，可参考以下方法排查处理： 检查网络。 ping同区域的OBS终端节点（Endpoint），例如ping
Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离
CDN下载简介 在OBS控制台上配置用户域名绑定和CDN加速，配置成功后，OBS Browser可查询到该配置记录。然后在OBS Browser上启用CDN下载，以实现在OBS Browser上下载对象时，从CDN加速节点获取，提高下载速度。 启用CDN下载时，需先将桶访问权限设
配置CORS实现跨域访问OBS OBS提供HTML5协议中的CORS设置，帮助用户实现跨域访问。 您可以新建CORS规则，也可以从其他桶复制已有CORS规则。 背景知识 跨域是指不同域名之间相互访问。 跨域访问是浏览器出于安全考虑而设置的一个限制，即同源策略。由于JavaScri
求带宽的总和）上限是16Gbit/s(包括公网和内网带宽一共16Gbit/s)。如果带宽达到该阈值，请求会触发流控。 如果用户购买的虚拟机网卡带宽低于16Gbit/s，那么节点带宽会先受虚机带宽限制，需要购买多台虚拟机并发运行才能达到16Gbit/s的带宽。 上传下载速率还受磁盘io及是否有其它进程抢占资源的影响。
使用备份软件实现本地数据备份至OBS 使用场景 传统的备份与恢复方案需要将备份数据写入磁带等存储设备，然后再运输至数据中心。在此过程中数据的安全及完整性依赖很多因素，比如硬件、人员等等。无论是从前期搭建数据中心还是后期的维护，都使得传统的备份与恢复方案面临着管理复杂、投入成本高的难题。
支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
OBS如何实现备份和容灾？ OBS通过如下方式实现备份和容灾： 创建桶时开启多AZ属性，用户数据冗余存储至多个AZ中。 通过跨区复制功能。用户可以将一个区域的桶中数据复制到另一个区域，实现云端备份。 将OBS中的数据下载到本地，本地备份数据。 父主题： 数据安全、迁移和备份
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接，实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导，详情请参见支持的大数据平台简介。 （可选）OBS除了可以与主流大数据平台对接外
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
