检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
支持的大数据平台简介 华为云大数据存算分离方案中，OBS支持与多种大数据平台对接，包括华为云MapReduce服务（MRS）、Cloudera CDH和Hortonworks HDP，满足用户业务的灵活诉求。 华为云MapReduce服务（MRS） 华为云MapReduce服务（
华为云服务及平台通过了多项国内外权威机构（ISO/SOC/PCI等）的安全合规认证，用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求，具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外，华为云还提供了以
状态码 服务器向用户返回的状态码和提示信息如表1所示： 表1 状态码 状态码 说明 2xx 服务器成功返回用户请求的数据。 4xx 客户端发出的请求有错误，服务器没有进行新建或修改数据的操作。 5xx 服务器发生错误，用户将无法判断发出的请求是否成功。 注：请使用符合https://www
1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hive/auxlib 重启Hive集群。 父主题： 对接大数据平台
HTTP状态码分类： 分类 分类描述 1XX 信息，服务器收到请求，需要请求者继续执行操作，一般对客户调用函数不可见。 2XX 成功，操作被成功接收并处理。 3XX 重定向，需要进一步的操作以完成请求。 4XX 客户端错误，请求包含语法错误或无法完成请求。 5XX 服务器错误，服务器在处理请求的过程中发生了错误
HTTP状态码分类： 分类 分类描述 1XX 信息，服务器收到请求，需要请求者继续执行操作，一般对客户调用函数不可见。 2XX 成功，操作被成功接收并处理。 3XX 重定向，需要进一步的操作以完成请求，一般对客户调用函数不可见。 4XX 客户端错误，请求包含语法错误或无法完成请求。 5XX
t、impl等。 core-site.xml配置完成后“重启”Hive集群，再重启Hive集群的“部署客户端配置”。 父主题： 对接大数据平台
会自动重定向，也可以将请求发送到重定向地址。 400 Bad Request BadDigest 客户端指定的对象内容的MD5值与系统接收到的内容MD5值不一致。 检查头域中携带的MD5与消息体计算出来的MD5是否一致。 400 Bad Request BadDomainName
Browser+时，请先判断您使用的是华为云账号还是华为账号。华为云账号与华为账号的区别请参见华为云账号与华为账号的区别。您也可以登录华为云控制台判断当前使用的是华为账号还是华为云账号。 图4 华为云账号直接登录 表5 参数说明 参数 约束 说明 账号名（云账号） 必选 在华为云注册的账号名称。仅支持
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台
HTTP状态码分类： 分类 分类描述 1XX 信息，服务器收到请求，需要请求者继续执行操作，一般对客户调用函数不可见。 2XX 成功，操作被成功接收并处理。 3XX 重定向，需要进一步的操作以完成请求。 4XX 客户端错误，请求包含语法错误或无法完成请求。 5XX 服务器错误，服务器在处理请求的过程中发生了错误
配置OBS客户端 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 当使用配置类（ObsConfig）创建OBS客户端（ObsClient）时，您可通过ObsConfig配置类对O
输入访问密钥描述信息（非必填），单击“确定”。 通过手机短信、邮箱或者虚拟MFA进行验证，输入对应的验证码，单击“确定”。 如果您已开启操作保护，需要通过手机短信、邮箱或者虚拟MFA进行验证，输入对应的验证码。 单击“立即下载”，浏览器下载访问密钥。 为防止访问密钥泄露，建议您将其保存到安全的位置。
POST上传（表单上传）情况下，添加到表单 4 发送携带签名S的API调用请求 将携带签名信息的请求发送给服务端。 OBS服务端 5 接收调用请求 接受客户端的调用请求。 6 验证签名 服务端根据接收到的HTTP请求和用户访问密钥再次计算签名S'，比较S'与客户端计算的签名S是否一致，如果一致则签名验证成功，不一致则验证失败。
涉政等违法违规内容，OBS和第三方平台（微信/支付宝/百度等）检测到后会封禁此资源。第三方平台在封禁此资源的同时，会将OBS域名列为不信任域名，导致其他合法使用OBS域名的用户也受到影响。 解决方案 需要通过第三方平台，如微信/支付宝/百度等平台或小程序使用OBS的用户，建议使用自定义域名访问OBS资源，避免封禁。
输入访问密钥描述信息（非必填），单击“确定”。 通过手机短信、邮箱或者虚拟MFA进行验证，输入对应的验证码，单击“确定”。 如果您已开启操作保护，需要通过手机短信、邮箱或者虚拟MFA进行验证，输入对应的验证码。 单击“立即下载”，浏览器下载访问密钥。 为防止访问密钥泄露，建议您将其保存到安全的位置。
流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接，实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导，详情请参见支持的大数据平台简介。 （可选）OBS除了可以与主流大数据平台对接外，还可以直接与开源的大数据组件对接。当您使用开源的
OBS的数据冗余存储方式是什么？ OBS采用Erasure Code（EC，纠删码）算法做数据冗余，不是以副本的形式存储。 在满足同等可靠性要求的前提下，EC的空间利用率优于多副本。 数据冗余存储策略为“单AZ”的桶，在AZ内的节点间使用EC算法做数据冗余；“多AZ”的桶在AZ内
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
