检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
生成。 将hadoop-huaweicloud-x.x.x-hw-y.jar拷贝到/opt/hadoop-3.1.1/share/hadoop/tools/lib和/opt/hadoop-3.1.1/share/hadoop/common/lib目录下。 hadoop-huaweicloud-x
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构（ISO/SOC/PCI等）的安全合规认证，用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求，具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
and signing method. 请参考以下案例进行排查处理：签名不匹配（SignatureDoesNotMatch）如何处理 父主题： 认证鉴权
认证鉴权 OBS签名机制概述 Header中携带签名 URL中携带签名 基于浏览器上传的表单中携带签名 签名计算工具 父主题： 如何调用API
使用在URL中签名的方式，会将授权的数据在过期时间内暴露在互联网上，具有一定的风险。该方式适用于在不提供给第三方访问密钥的情况下，让第三方能用预签发的URL来进行身份认证，并执行预定义操作。 如何您想通过浏览器访问OBS，建议您使用URL携带签名。 是否支持设置Expires 否 是 是否支持设置Date 是
x为配套hadoop版本号；最后一位y为OBSA版本号，y值最大为最新版本。如：hadoop-huaweicloud-3.1.1-hw-53.8.jar，3.1.1是配套hadoop版本号，53.8是OBSA的版本号。 如hadoop版本为3.1.x，则选择hadoop-huaweicloud-3
访问OBS域名失败，连接不上CA证书 在证书不受信的情况下，访问OBS域名会失败，需要重新获取OBS证书并将其导入客户端信任库。 获取OBS证书（以Chrome浏览器为例）。 在浏览器中访问OBS域名：https://obs.myhuaweicloud.com。 单击域名左侧的，选择“证书”。
网站托管。除此之外，绝大多数场景是需要经过认证的请求才可以访问成功。经过认证的请求总是需要包含一个签名值，该签名值以请求者的访问密钥（AK/SK）作为加密因子，结合请求体携带的特定信息计算而成。通过访问密钥（AK/SK）认证方式进行认证鉴权，即使用Access Key ID（AK）/Secret
x为配套hadoop版本号；最后一位y为OBSA版本号，y值最大为最新版本。如：hadoop-huaweicloud-3.1.1-hw-53.8.jar，3.1.1是配套hadoop版本号，53.8是OBSA的版本号。 如hadoop版本为3.1.x，则选择hadoop-huaweicloud-3
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：
Header中携带签名 功能介绍 OBS的所有API接口都可以通过在header中携带签名方式来进行身份认证，也是最常用的身份认证方式。如图1所示，在Header中携带签名是指将通过HTTP消息中Authorization header头域携带签名信息。 图1 Header中携带签名示例
以在华为云上部署和管理Hadoop系统，一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云服务，完全兼容开源接口，结合华为云计算、存储优势及大数据行业经验，为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运行Hadoop、Spark、HBas
的失效时间内有效。URL中携带签名主要用于在不提供给其他人Secret Access Key的情况下，让其他人能用预签发的URL来进行身份认证，并执行预定义的操作。 URL中携带签名请求的示例如下： GET /ObjectKey?AccessKeyId=AccessKeyID&E
对于并行文件系统目录，大数据场景下（目录层级深、目录下文件多）的删除，可能会因超时而删除失败，建议使用： hadoop 客户端（嵌套OBS客户端插件OBSA）删除目录：hadoop fs - rmr obs://{并行文件系统名}/{目录名} 给目录配置生命周期规则，通过生命周期后台删除。
Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2.3.3-bin.tar.gz，并解压到/opt/hive-2
拷贝。 配置指南 参考Hadoop对接OBS中hadoop-huaweicloud的安装和配置方法，完成OBS相关配置。 使用示例 以迁移HDFS上的“/data/sample”目录为例，执行以下命令查看HDFS文件系统上此目录下的文件与目录。 hadoop fs -ls hdfs:///data/sample
通过永久访问密钥访问OBS OBS的REST接口既支持认证请求，也支持匿名请求。匿名请求通常仅用于需要公开访问的场景，例如静态网站托管。除此之外，绝大多数场景是需要经过认证的请求才可以访问成功。经过认证的请求总是需要包含一个签名值，该签名值以请求者的访问密钥（AK/SK）作为加密
Exception { SignDemo demo = new SignDemo(); /* 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；
OBS支持使用HTTPS协议访问吗？ OBS支持HTTPS访问。 使用OBS分配的域名进行访问时，只要在浏览器中将桶或对象的URL的http替换成https即可。 OBS自定义域名绑定配合CDN同时使用时，通过CDN管理控制台进行HTTPS证书管理，即可使用HTTPS访问。CDN
解压datax.tar.gz到/opt/datax目录。 在Github下载hadoop-huaweicloud：下载地址。（建议使用hadoop 2.8.3版本下最新版本的hadoop-huaweicloud版本，例如hadoop-huaweicloud-2.8.3-hw-53.8，以最新版本为准）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
