检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的大数据平台简介 华为云大数据存算分离方案中,OBS支持与多种大数据平台对接,包括华为云MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
点挖掘、信用分析等场景 FunctionGraph、语音识别、OBS、SIS 语音识别-客服中心语音质检 适用于货运出行行业隐私通话分析、金融保险领域业务洞察分析及安防风控领域反诈威胁分析等场景 FunctionGraph、语音识别、OBS、SIS 无服务器日志实时分析 该解决方
请确认您已经熟悉OBS的基本概念,如桶(Bucket)、对象(Object)、访问密钥(AK和SK)、终端节点(Endpoint)和访问域名等。 当前各区域特性开放不一致,部分特性只在部分区域开放,使用过程中如果接口HTTP状态码为405,请确认该区域是否支持该功能特性。您可以查看功能总览确认区域是否支持该功能特性,或者提交工单寻求技术支持。
对所有账号授予指定对象的读权限 场景介绍 某公司A使用OBS存储了大量全球各地的地图数据,这些数据需要对外开放供所有人查阅。在这种情况下,该公司便可以为这部分数据设置所有账号的读取权限,然后将这些数据对应的URL公开在互联网上,所有人就可以使用这个URL访问或下载这些公开数据了。
配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hive/auxlib 重启Hive集群。 父主题: 对接大数据平台
流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外,还可以直接与开源的大数据组件对接。当您使用开源的
t、impl等。 core-site.xml配置完成后“重启”Hive集群,再重启Hive集群的“部署客户端配置”。 父主题: 对接大数据平台
涉政等违法违规内容,OBS和第三方平台(微信/支付宝/百度等)检测到后会封禁此资源。第三方平台在封禁此资源的同时,会将OBS域名列为不信任域名,导致其他合法使用OBS域名的用户也受到影响。 解决方案 需要通过第三方平台,如微信/支付宝/百度等平台或小程序使用OBS的用户,建议使用自定义域名访问OBS资源,避免封禁。
限管理页面。 单击“桶ACL”进入“桶ACL”界面。 单击“增加”,输入挂载者的账号ID,勾选桶的读取权限和写入权限。 如果您是对所有用户开放权限,则在“公共访问权限”中为“匿名用户”授权桶的读取和写入权限。 单击“保存”。 验证 登录OBS Browser。 单击页面左上方“添加桶”,弹出“添加桶”对话框。
编写访问策略向其他账号或者IAM用户授予资源的控制权限。例如,你拥有一个桶,你可以授权一个其他的IAM用户上传对象到你的桶中;你也可以将桶开放给非公有云用户访问,即桶作为一个公共资源,能被互联网上任何人访问。OBS提供多种方式将OBS资源权限授予给他人,资源拥有者可以根据业务需求
把数据从第三方云厂商轻松、平滑地迁移至OBS。 大数据场景下使用OBS实现存算分离 本最佳实践主要提供华为云大数据存算分离方案中不同大数据平台和大数据组件与对象存储服务OBS的对接指导,以及HDFS数据迁移至对象存储服务OBS的方案。 数据备份 使用备份软件实现本地数据备份至OBS
向所有账号临时分享对象 场景介绍 如果希望将对象限时对外开放供所有人查阅,可以通过对象的分享功能实现。 文件分享方法 在OBS管理控制台左侧导航栏选择“桶列表”。 在桶列表单击目标桶的桶名称,进入“对象”页面。 选中待分享的文件,并单击右侧操作列的“分享”。 此时,链接信息中的链
通过控制台快速使用OBS 控制台是网页形式的操作平台,提供更直观的界面操作,简单易上手。 本章节以上传对象至“test-example-bucket”桶为例,帮助您通过控制台快速使用OBS的基础功能,包括创建桶、上传对象、下载对象、分享对象。 准备工作 使用OBS之前,您需要拥有
站、工具下载、游戏客户端、APP商店等。 通过OBS提供音视频点播业务的应用或服务。例如:在线教育类网站、在线视频分享网站、互联网电视点播平台、音乐视频点播APP等。 约束与限制 只有桶版本号为3.0及以上的桶支持此方案。桶版本号可以在OBS控制台上,进入桶对象页面后单击“概览”,在“基本信息”中查看。
使用账号登录时,界面提示“没有权限登录” 在使用OBS Browser+过程中,如果使用账号登录时提示“没有权限登录”,原因是统一身份认证服务平台认证失败。 可按照以下步骤排查解决问题: 联系当前租户的安全管理员,登录统一身份认证服务控制台。 查看当前AK所属用户是否被禁用。 查看当
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
使用OBS客户端进行接口调用操作完成后,没有返回异常,则表明接口调用成功;如果返回异常,则说明操作失败,此时应从SDK错误处理中获取错误信息。 当前各区域特性开放不一致,部分特性只在部分区域开放,使用过程中如果接口HTTP状态码为405,请确认该区域是否支持该功能特性。 父主题: 快速入门
Node.js SDK接口调用的通用方式。 OBS客户端支持回调函数和Promise对象两种方式返回调用结果。 当前各区域特性开放不一致,部分特性只在部分区域开放,使用过程中如果接口HTTP状态码为405,请确认该区域是否支持该功能特性。 父主题: 快速入门(Node.js SDK)