检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外,还可以直接与开源的大数据组件对
a-”开头的自定义元数据名称,第二个String代表自定义元数据的值。当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回的消息头中出现。 约束限制: 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为:每个键和值的UTF-8 编码中的字节总数。
OBS的持久性和可用性如何? OBS通过存储介质的慢盘/坏道检测、AZ内设备和数据冗余、AZ之间数据容灾、跨区域复制等技术方案,提供针对介质、服务器、机柜、数据中心和区域的多级可靠性保障。其数据持久性高达99.9999999999%(12个9),可用性高达99.995%,远高于传统架构。
全选 允许的头域 可选参数,指定允许的跨域请求的头域。只有匹配上允许的头域中的配置,才被视为是合法的CORS请求。 允许的头域可设置多个,多个头域之间换行隔开,每行最多可填写一个*符号,不支持&、:、<、空格以及中文字符。 * 补充头域 可选参数,指CORS响应中带的补充头域,给客户端提供额外的信息。
华为云MapReduce服务(MRS)是华为云提供的大数据服务,可以在华为云上部署和管理Hadoop系统,一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大数据行业经验,为客户提供高性能、低成本、灵活易用的全栈大数据平台,轻松运
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
创建用户组并授权。 按照IAM文档指导,将前面步骤创建的自定义策略添加到用户组中。 将需要授权的IAM用户加入到创建的用户组中,授权完成。 由于缓存的存在,授予OBS相关的策略后,大概需要等待10~15分钟策略才能生效。 父主题: 对当前账号下单个IAM用户授权
对象策略即为桶策略中针对对象的策略,区别是对象策略只针对一个对象,桶策略中针对对象的策略可以配置多个对象或桶中所有对象。 桶策略应用场景 允许其他华为云账号访问OBS资源,可以使用桶策略的方式授权对应权限。 当不同的桶对于不同的IAM用户有不同的访问控制需求时,需使用桶策略分别授权IAM用户不同的权限。
OutputStream可将对象的内容读取到本地文件或者内存中;用户也可以调用OBS .NET SDK提供的GetObjectResponse.WriteResponseStreamToFile方法,将对象内容下载到本地文件中。 GetObjectResponse.OutputStream获取的响应流一
采用obsutil进行文件上传下载,如果通过公网,受公网带宽限制;如果通过内网,受网卡、磁盘IO及是否有其它进程抢占资源的限制。 如果出现上传下载速度慢的问题,可参考以下方法排查处理: 检查网络。 ping同区域的OBS终端节点(Endpoint),例如ping obs.cn-north-1.myhuaweicloud
创建用户组并授权。 按照IAM文档指导,将前面步骤创建的自定义策略添加到用户组中。 将需要授权的IAM用户加入到创建的用户组中,授权完成。 由于缓存的存在,授予OBS相关的策略后,大概需要等待10~15分钟策略才能生效。 父主题: 对当前账号下单个IAM用户授权
对单个IAM用户授予桶的指定操作权限 场景介绍 本案例介绍如何为华为云账号下的某个IAM用户授予OBS桶的指定操作权限,此处以授予删除桶的权限为例。 如果需要配置其他指定的权限,在桶策略的动作名称中选择对应动作即可。OBS支持的动作 推荐配置方法 对单个IAM用户授予资源级别权限,推荐使用桶策略。
间进行数据迁移? OBS会不会扫描我的数据用于其他用途? 后台工程师能否导出我存储在OBS中的数据? OBS如何保证我的数据不会被盗用? OBS的持久性和可用性如何? OBS单AZ和多AZ有什么区别? OBS的数据冗余存储方式是什么?
域名源站时,CDN向源站OBS获取文件产生的回源流量费用。 公网流出流量包用于抵扣通过互联网从OBS下载数据到本地所产生的公网流出流量费用。 不同场景产生的流量类型如下: 用户在控制台执行对象下载和其他查询类操作(列举对象、获取桶或对象的元数据等),或者在公网使用工具、SDK不经
对单个IAM用户授予指定对象的指定操作权限 场景介绍 本案例介绍如何为华为云账号下的某个IAM用户授予OBS桶中指定对象的指定操作权限,此处以授予下载对象的权限为例。 如果需要配置其他指定的权限,在桶策略的动作名称中选择对应动作即可。OBS支持的动作 推荐配置方法 对单个IAM用户授予资源级别权限,推荐使用桶策略。
请求费用 所有类型的请求次数 小时 当前小时对上小时产生的费用进行结算,输出账单 按需计费 流量费用 内/公网流入流量 小时 当前小时对上小时产生的费用进行结算,输出账单 免费 内网流出流量 小时 当前小时对上小时产生的费用进行结算,输出账单 免费 公网流出流量 小时 当前小时对上小时产生的费用进行结算,输出账单
资源包是否必须购买?是否能指定给具体的桶使用? 资源包是否支持退订或修改? 资源包到期后OBS资源会如何处理? 并行文件系统是否支持资源包? 请求次数是如何计算的? 是否支持购买请求次数? OBS存储资源包使用超量后是否会限制对桶的写入 当月未用完的资源包用量是否会结转到下个月? 哪些资源包会按月更新额度,哪些不会?
对单个IAM用户授予创建桶和列举桶的权限 场景介绍 本案例介绍如何为华为云账号下的某个IAM用户授予OBS创建桶和列举桶的权限。拥有本权限的IAM用户可以创建桶,创建的桶仍然属于IAM用户对应的账号。同时该IAM用户也可以看到账号下的所有桶。 推荐配置方法 创建桶和列举桶属于OB
静态网站托管 哪些类型的网站适合使用OBS进行静态网站托管? 如何获取桶的静态网站托管地址?
服务端加密 如何访问或下载已加密的对象? 被委托账号或用户为什么无法上传下载KMS加密对象? 分享对象时,OBS的SSE-OBS服务端加密方式是否需要授权特殊权限? OBS是否支持对象加密上传? 我对存储在OBS上的数据加密时,可支持哪些加密技术? 为桶配置服务端加密后,OBS会对历史对象进行加密吗?