检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hadoop生态系统构建的大数据分析管理平台发行版。 Cloudera CDH与OBS对接的具体操作,请参见Cloudera CDH对接OBS。 Hortonworks HDP HDP是Hortonworks基于Apache Hadoop生态系统开源组件构建的大数据分析管理平台。 Hortonworks
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
状态码 服务器向用户返回的状态码和提示信息如表1所示: 表1 状态码 状态码 说明 2xx 服务器成功返回用户请求的数据。 4xx 客户端发出的请求有错误,服务器没有进行新建或修改数据的操作。 5xx 服务器发生错误,用户将无法判断发出的请求是否成功。 注:请使用符合https://www
通过SDK或API的PUT上传、POST上传和追加写超过5GB的文件 上传段超过5GB 设置的桶配置超过20KB 超过post表单中policy限制的文件大小(用户可自定义) 通过SDK或API的多段上传以及SDK的断点续传超过48.8TB的文件 修改上传的policy中的条件或者减少对象大小。
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
MD5检验 背景知识 文件在上传和下载的过程中,受网络影响可能出现损坏。通过MD5校验,可以验证上传或下载文档的正确性。 OBS Browser开启MD5校验会影响上传下载速度。本章节以上传文件为例介绍MD5校验功能。 桶中文件具有MD5信息,下载文件时才会做MD5校验。 操作步骤
软件:Ambari:2.7.1.0,HDP:3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 下载OBSA-HDFS工具的jar包(如hadoop-huaweicloud-3.1.1-hw-53.8.jar)到/mnt/obsjar目录。
Browser+过程中,如果使用账号登录时提示“没有权限登录”,原因是统一身份认证服务平台认证失败。 可按照以下步骤排查解决问题: 联系当前租户的安全管理员,登录统一身份认证服务控制台。 查看当前AK所属用户是否被禁用。 查看当前AK所属用户的访问方式是否开启编程访问。 查看当前用户请求是否授权登录操作。
无效的桶名(使用了不合法的桶名)。 403 Forbidden 拒绝访问 客户端请求中携带的签名和服务端计算出的签名不匹配(一般是AK/SK错误); 权限不足(账号对请求的资源无权限); 账号欠费; 桶的空间不足(出现在对桶设置了配额的场景); 无效的AK; 客户端时间和服务端时间相差过大(客户端所在机器的时间与NTP服务不同步)。
授权码:在obsutil获取到的是文件夹的授权码。 在obsutil获取授权码的方式请参见创建目录分享的授权码。 提取码 是 在分享文件夹时指定的6位纯数字的提取码。 OBS Browser+不支持历史授权登录信息的查询和删除操作。 OBS Browser+对于过期的授权码信息会自动删除。
OBS的数据冗余存储方式是什么? OBS采用Erasure Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。 在满足同等可靠性要求的前提下,EC的空间利用率优于多副本。 数据冗余存储策略为“单AZ”的桶,在AZ内的节点间使用EC算法做数据冗余;“多AZ”的桶在AZ内
通过手机短信、邮箱或者虚拟MFA进行验证,输入对应的验证码,单击“确定”。 如果您已开启操作保护,需要通过手机短信、邮箱或者虚拟MFA进行验证,输入对应的验证码。 单击“立即下载”,浏览器下载访问密钥。 为防止访问密钥泄露,建议您将其保存到安全的位置。 父主题: 附录
登录控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 在左侧导航栏单击“访问密钥”。 单击“新增访问密钥”,进入“新增访问密钥”页面。 输入访问密钥描述信息(非必填),单击“确定”。 通过手机短信、邮箱或者虚拟MFA进行验证,输入对应的验证码,单击“确定”。 如果您
大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外,还可以直接与开源的大数据组件对
访问OBS链接提示告警信息的原因和解决办法 原因 因为部分用户使用OBS桶时上传了包含色情、暴恐、涉政等违法违规内容,OBS和第三方平台(微信/支付宝/百度等)检测到后会封禁此资源。第三方平台在封禁此资源的同时,会将OBS域名列为不信任域名,导致其他合法使用OBS域名的用户也受到影响。 解决方案
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
8是OBSA的版本号。 如hadoop版本为3.1.x,则选择hadoop-huaweicloud-3.1.1-hw-53.8.jar。 增加hadoop-huaweicloud的jar包。 在CDH集群各节点执行以下命令,命令请根据hadoop-huaweicloud的jar包名字及实际CDH版本进行适配使用。
Browser+提供文件夹分享和授权码登录的功能,轻松为你完成数据分享。 首先,您登录OBS Browser+后,选择您要分享的目录右键或者单击操作栏的分享按钮。 然后,选择分享链接的有效期,并输入提取码,然后创建分享即可以生成分享链接及二维码。 最后,您可以将生成的分享链接信息或二维码发送给您需要分享的其他人,
配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
问密钥(AK和SK)用于对请求加密签名,确保请求的机密性、完整性和请求双方身份的正确性。 背景知识 AK和SK支持IAM的认证机制,以下是对AK和SK的解释说明: AK:Access Key ID,接入键标识,用户在OBS系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用