检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的大数据平台简介 华为云大数据存算分离方案中,OBS支持与多种大数据平台对接,包括华为云MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
接受客户端的调用请求。 6 验证签名 服务端根据接收到的HTTP请求和用户访问密钥再次计算签名S',比较S'与客户端计算的签名S是否一致,如果一致则签名验证成功,不一致则验证失败。 7 返回API调用结果 如果验证成功则继续执行API,然后向客户端返回API执行结果。 如果验证失败则通知客户端验证失败,状态码为403
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
状态码 服务器向用户返回的状态码和提示信息如表1所示: 表1 状态码 状态码 说明 2xx 服务器成功返回用户请求的数据。 4xx 客户端发出的请求有错误,服务器没有进行新建或修改数据的操作。 5xx 服务器发生错误,用户将无法判断发出的请求是否成功。 注:请使用符合https://www
输入访问密钥描述信息(非必填),单击“确定”。 通过手机短信、邮箱或者虚拟MFA进行验证,输入对应的验证码,单击“确定”。 如果您已开启操作保护,需要通过手机短信、邮箱或者虚拟MFA进行验证,输入对应的验证码。 单击“立即下载”,浏览器下载访问密钥。 为防止访问密钥泄露,建议您将其保存到安全的位置。
输入访问密钥描述信息(非必填),单击“确定”。 通过手机短信、邮箱或者虚拟MFA进行验证,输入对应的验证码,单击“确定”。 如果您已开启操作保护,需要通过手机短信、邮箱或者虚拟MFA进行验证,输入对应的验证码。 单击“立即下载”,浏览器下载访问密钥。 为防止访问密钥泄露,建议您将其保存到安全的位置。
MD5检验 背景知识 文件在上传和下载的过程中,受网络影响可能出现损坏。通过MD5校验,可以验证上传或下载文档的正确性。 OBS Browser开启MD5校验会影响上传下载速度。本章节以上传文件为例介绍MD5校验功能。 桶中文件具有MD5信息,下载文件时才会做MD5校验。 操作步骤
调用接口出错后,将不会返回结果数据。调用方可根据每个接口对应的错误码来定位错误原因。 当调用出错时,HTTP请求返回一个3xx,4xx或5xx的HTTP状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时,可以联系华为云客服,并提供错误码,以便尽快帮您解决问题。 错误响应消息格式
t、impl等。 core-site.xml配置完成后“重启”Hive集群,再重启Hive集群的“部署客户端配置”。 父主题: 对接大数据平台
配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hive/auxlib 重启Hive集群。 父主题: 对接大数据平台
流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外,还可以直接与开源的大数据组件对接。当您使用开源的
涉政等违法违规内容,OBS和第三方平台(微信/支付宝/百度等)检测到后会封禁此资源。第三方平台在封禁此资源的同时,会将OBS域名列为不信任域名,导致其他合法使用OBS域名的用户也受到影响。 解决方案 需要通过第三方平台,如微信/支付宝/百度等平台或小程序使用OBS的用户,建议使用自定义域名访问OBS资源,避免封禁。
站、工具下载、游戏客户端、APP商店等。 通过OBS提供音视频点播业务的应用或服务。例如:在线教育类网站、在线视频分享网站、互联网电视点播平台、音乐视频点播APP等。 约束与限制 只有桶版本号为3.0及以上的桶支持此方案。桶版本号可以在OBS控制台上,进入桶对象页面后单击“概览”,在“基本信息”中查看。
HTTP状态码(Java SDK) OBS服务端遵照HTTP规范,在接口调用完成均会返回标准的HTTP状态码,HTTP状态码分类以及OBS中常见的HTTP状态码如下: HTTP状态码分类: 分类 分类描述 1XX 信息,服务器收到请求,需要请求者继续执行操作,一般对客户调用函数不可见。
重命名/opt/spark-2.3.3/conf/log4j.properties.template为log4j.properties。 执行以下命令,验证是否对接成功。 $SPARK_HOME/bin/run-example org.apache.spark.examples.JavaWordCount
出于安全性考虑,建议使用https协议) N/A ssl_verify 验证服务端证书参数。可能的取值: 服务端pem格式根证书文件路径; true:使用默认的CAs验证服务端证书; false:表示不验证服务端证书。 默认为false。 N/A max_retry_count
OBS的数据冗余存储方式是什么? OBS采用Erasure Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。 在满足同等可靠性要求的前提下,EC的空间利用率优于多副本。 数据冗余存储策略为“单AZ”的桶,在AZ内的节点间使用EC算法做数据冗余;“多AZ”的桶在AZ内
配置使用https代理,可选项。默认不配置 N/A ssl_verify 验证服务端证书参数。可能的取值: 服务端pem格式根证书文件路径; true:使用默认的CAs验证服务端证书; false:表示不验证服务端证书。 默认为false。 N/A long_conn_param