检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的大数据平台简介 华为云大数据存算分离方案中,OBS支持与多种大数据平台对接,包括华为云MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外,华为云还提供了以
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
输入访问密钥描述信息(非必填),单击“确定”。 通过手机短信、邮箱或者虚拟MFA进行验证,输入对应的验证码,单击“确定”。 如果您已开启操作保护,需要通过手机短信、邮箱或者虚拟MFA进行验证,输入对应的验证码。 单击“立即下载”,浏览器下载访问密钥。 为防止访问密钥泄露,建议您将其保存到安全的位置。
输入访问密钥描述信息(非必填),单击“确定”。 通过手机短信、邮箱或者虚拟MFA进行验证,输入对应的验证码,单击“确定”。 如果您已开启操作保护,需要通过手机短信、邮箱或者虚拟MFA进行验证,输入对应的验证码。 单击“立即下载”,浏览器下载访问密钥。 为防止访问密钥泄露,建议您将其保存到安全的位置。
状态码 服务器向用户返回的状态码和提示信息如表1所示: 表1 状态码 状态码 说明 2xx 服务器成功返回用户请求的数据。 4xx 客户端发出的请求有错误,服务器没有进行新建或修改数据的操作。 5xx 服务器发生错误,用户将无法判断发出的请求是否成功。 注:请使用符合https://www
会自动重定向,也可以将请求发送到重定向地址。 400 Bad Request BadDigest 客户端指定的对象内容的MD5值与系统接收到的内容MD5值不一致。 检查头域中携带的MD5与消息体计算出来的MD5是否一致。 400 Bad Request BadDomainName
t、impl等。 core-site.xml配置完成后“重启”Hive集群,再重启Hive集群的“部署客户端配置”。 父主题: 对接大数据平台
HTTP状态码分类: 分类 分类描述 1XX 信息,服务器收到请求,需要请求者继续执行操作,一般对客户调用函数不可见。 2XX 成功,操作被成功接收并处理。 3XX 重定向,需要进一步的操作以完成请求,一般对客户调用函数不可见。 4XX 客户端错误,请求包含语法错误或无法完成请求。 5XX
1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hive/auxlib 重启Hive集群。 父主题: 对接大数据平台
流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外,还可以直接与开源的大数据组件对接。当您使用开源的
HTTP状态码分类: 分类 分类描述 1XX 信息,服务器收到请求,需要请求者继续执行操作,一般对客户调用函数不可见。 2XX 成功,操作被成功接收并处理。 3XX 重定向,需要进一步的操作以完成请求。 4XX 客户端错误,请求包含语法错误或无法完成请求。 5XX 服务器错误,服务器在处理请求的过程中发生了错误
涉政等违法违规内容,OBS和第三方平台(微信/支付宝/百度等)检测到后会封禁此资源。第三方平台在封禁此资源的同时,会将OBS域名列为不信任域名,导致其他合法使用OBS域名的用户也受到影响。 解决方案 需要通过第三方平台,如微信/支付宝/百度等平台或小程序使用OBS的用户,建议使用自定义域名访问OBS资源,避免封禁。
POST上传(表单上传)情况下,添加到表单 4 发送携带签名S的API调用请求 将携带签名信息的请求发送给服务端。 OBS服务端 5 接收调用请求 接受客户端的调用请求。 6 验证签名 服务端根据接收到的HTTP请求和用户访问密钥再次计算签名S',比较S'与客户端计算的签名S是否一致,如果一致则签名验证成功,不一致则验证失败。
HTTP状态码分类: 分类 分类描述 1XX 信息,服务器收到请求,需要请求者继续执行操作,一般对客户调用函数不可见。 2XX 成功,操作被成功接收并处理。 3XX 重定向,需要进一步的操作以完成请求。 4XX 客户端错误,请求包含语法错误或无法完成请求。 5XX 服务器错误,服务器在处理请求的过程中发生了错误
OBS的数据冗余存储方式是什么? OBS采用Erasure Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。 在满足同等可靠性要求的前提下,EC的空间利用率优于多副本。 数据冗余存储策略为“单AZ”的桶,在AZ内的节点间使用EC算法做数据冗余;“多AZ”的桶在AZ内
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
使用账号登录时,界面提示“没有权限登录” 在使用OBS Browser+过程中,如果使用账号登录时提示“没有权限登录”,原因是统一身份认证服务平台认证失败。 可按照以下步骤排查解决问题: 联系当前租户的安全管理员,登录统一身份认证服务控制台。 查看当前AK所属用户是否被禁用。 查看当
MD5检验 背景知识 文件在上传和下载的过程中,受网络影响可能出现损坏。通过MD5校验,可以验证上传或下载文档的正确性。 OBS Browser开启MD5校验会影响上传下载速度。本章节以上传文件为例介绍MD5校验功能。 桶中文件具有MD5信息,下载文件时才会做MD5校验。 操作步骤