检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
old。 分段任务的阈值作用于单个文件/对象，如果文件/对象的大小大于该阈值才会对该文件/对象应用分段任务算法。 分段任务算法和断点续传是强制绑定关系，即一旦使用分段任务算法就相当于对该次任务启动了断点续传模式。 父主题： 最佳实践
如何指定Content-SHA256? 上传对象和上传段支持携带x-obs-content-sha256头域，该头域值为请求消息体256-bit SHA256值转十六进制值，计算方式为Hex(SHA256Hash(<payload>)，服务端会对携带此头域的请求计算其消息体的sh
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接，实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导，详情请参见支持的大数据平台简介。 （可选）OBS除了可以与主流大数据平台对接外
如何对OBS进行访问权限控制？ 您可以使用以下几种机制来控制对OBS的访问权限。更多详细信息，请参见OBS权限控制概述。 IAM权限 IAM权限是作用于云资源的，IAM权限定义了允许和拒绝的访问操作，以此实现云资源权限访问控制。 推荐使用IAM权限的场景：对同一账号内的子用户授权。
使用obsutil实现客户端跨区域复制 obsutil支持使用客户端跨区域复制模式进行复制，即通过数据流的方式从源桶直接复制数据到目标桶，且两个桶可以是任意两个OBS服务的桶；借助客户端跨区域复制模式即可实现相同账户下不同区域桶或不同账户间桶内对象的复制；跨账号复制对象具体步骤如下：
如何指定Content-SHA256?(Python SDK) 上传对象和上传段支持携带x-obs-content-sha256头域。 x-obs-content-sha256头域值为请求消息体256-bit SHA256值转十六进制值，计算方式为Hex(SHA256Hash(<
如何判断是否内网访问OBS？ 假设某用户拥有一台华北-北京四区域的ECS，同时拥有一个华北-北京四区域的OBS桶（桶名为example-bucket）。 判断是否内网访问的方法如下： 在ECS中ping需要确认的OBS桶的全局域名，如果响应的IP地址为100网段或214网段，则说明ECS访问此OBS桶为内网访问。
手动编码计算签名 使用SDK计算签名 OBS SDK内部已实现签名，因此您在使用SDK访问OBS时，无需关注签名问题。各语言SDK实现签名计算的源码如表2所示： 表2 OBS SDK Header携带签名的实现 SDK 签名实现源文件 Java RestStorageService.java
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中，具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash，例如≥7.10.2的版本，避免使用较老版本的logstash。 对接步骤 以logstash-7
如何进行分段下载？(Java SDK) 在下载对象时，您可以指定下载对象的某一范围内的数据进行分段下载，步骤如下： 您需要以AK、SK、Endpoint先初始化一个客户端ObsClient； 指定桶名和对象名初始化一个GetObjectRequest请求，您可以通过GetObjectRequest
如何指定Content-SHA256?(Java SDK) 上传对象和上传段支持携带x-obs-content-sha256头域，该头域值为请求消息体256-bit SHA256值转十六进制值，计算方式为Hex(SHA256Hash(<payload>)，服务端会对携带此头域的请
使用备份软件实现本地数据备份至OBS 使用场景 传统的备份与恢复方案需要将备份数据写入磁带等存储设备，然后再运输至数据中心。在此过程中数据的安全及完整性依赖很多因素，比如硬件、人员等等。无论是从前期搭建数据中心还是后期的维护，都使得传统的备份与恢复方案面临着管理复杂、投入成本高的难题。
支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离
如何指定Content-SHA256?(Node.js SDK) 上传对象和上传段支持携带x-obs-content-sha256头域，该头域值为请求消息体256-bit SHA256值转十六进制值，计算方式为Hex(SHA256Hash(<payload>)，服务端会对携带此头
小程序直传OBS 本章节通过一个示例程序演示了如何通过微信小程序上传文件至OBS。 通过Nginx反向代理访问OBS 本章节介绍如何通过在ECS上配置Nginx反向代理，实现通过固定IP地址访问OBS。 大数据场景下使用OBS实现存算分离 华为云存算分离大数据方案相比传统大数据
配置双端固定实现VPC粒度的访问控制 操作场景 使用“双端固定”特性，即同时设置VPC终端节点策略与桶策略，可以对OBS的资源提供VPC粒度的权限控制。 一方面，设置VPC终端节点策略可以限制VPC中的服务器（ECS/CCE/BMS）访问OBS中的特定资源；另一方面，设置桶策略可
如何访问指定桶或指定目录 背景： 使用Browser+的过程中，在某些业务场景下，您登录的AK，SK仅有访问某个桶或者某个桶内指定路径的权限，在这种情况下如果直接使用AK、SK登录，由于缺乏获取桶列表等操作的权限，会导致登录时提示权限不足。 解决办法： 针对以上场景，Browse
se/。由于cURL无法计算签名，使用cURL时仅支持访问匿名的公共OBS资源。 编码 通过编码调用接口，组装请求消息，并发送处理请求消息。可以使用SDK或自行编码实现。 父主题： 如何调用API
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
