检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的大数据平台简介 华为云大数据存算分离方案中,OBS支持与多种大数据平台对接,包括华为云MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(
大数据场景下使用OBS实现存算分离方案概述 应用场景 随着大数据技术的飞速发展,对数据价值的认识逐渐加深,大数据已经融入到了各行各业。根据相关调查报告数据显示,超过39.6%的企业正在应用大数据并从中获益;超过89.6%的企业已经成立或计划成立相关的大数据分析部门;超过六成的企业
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
移动应用直传方案概述 在互联网中,使用OBS作为存储在移动APP(手机Android、iOS应用)中获得了越来越广泛的应用。Android和iOS应用使用OBS服务时,不能直接存储访问密钥(AK/SK),这样可能会导致访问密钥(AK/SK)被黑客软件破解获取,进而可能导致存放在云存储中的文件数据被窃取,甚至被篡改。
移动应用直传 移动应用直传方案概述 使用临时安全凭证直传OBS 使用预签名URL直传OBS 父主题: 数据直传OBS
典型场景配置案例 权限典型场景一览 对当前账号下单个IAM用户授权 对当前账号下多个IAM用户或用户群组授权 对其他账号授权 对所有账号授权 临时授权访问OBS 让IAM用户只能看到被授权的桶 限制指定的IP地址访问桶
应用场景 大数据分析 场景描述 OBS提供的大数据解决方案主要面向海量数据存储分析、历史数据明细查询、海量行为日志分析和公共事务分析统计等场景,向用户提供低成本、高性能、不断业务、无须扩容的解决方案。 海量数据存储分析的典型场景:PB级的数据存储,批量数据分析,毫秒级的数据详单查询等
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中,对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中,则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移,包括:Distcp方式迁移、CDM方式迁移和OMS方式迁移。
我的数据存在OBS中,如何保证安全性? OBS是非常安全的,提供端到端的安全服务。 保证数据正确性:系统会定期对数据做扫描,仅限于判断数据块是否存在和被损坏(如有损坏,会启动修复),且不会读取数据的具体内容。 防止数据被盗用: 访问桶或对象时,如果桶或对象未公开,只有桶或对象的拥
OBS中的数据可以让其他用户访问吗? 可以。 对于桶,可以通过桶ACL和桶策略授予其他用户桶的读取权限,其他用户即可访问该桶。 对于对象,可以通过对象ACL,对象策略和桶策略来授予其他用户对象的读取权限,或者设置对象分享功能,其他用户即可访问该对象。 父主题: 产品咨询
访问低频访问存储类别的对象时,会根据对象大小产生额外的数据恢复费用。 访问归档存储类别的对象时,会根据对象大小和设置的恢复速度级别产生额外的数据恢复费用。 访问深度归档存储类别的对象时,会根据对象大小和设置的恢复速度级别产生额外的数据恢复费用。 此项费用不管通过内、外网访问均会产生;
后台工程师能否导出我存储在OBS中的数据? 后台工程师无法导出用户数据。 访问桶或对象时,如果桶或对象未公开,只有桶或对象的拥有者才能够访问,访问时需要提供访问密钥(AK/SK)。 父主题: 数据安全、迁移和备份
拼接成的链接分享给用户,用户可以在浏览器中通过此链接直接预览文件。 如仍不能在线预览,请检查对象元数据ContentType值是否是浏览器支持的在线展示类型。 例如对象是一个mp4格式的视频文件,则设置ContentType为“video/mp4”;对象是一个jpg格式的图片文件
对所有账号授予桶的公共读权限 场景介绍 当某个桶需要授权所有账号访问权限时,可以通过桶策略和桶ACL配置授予所有账号访问桶的权限。本示例以桶策略为例。 配置须知 本案例预置的“公共读”模板允许所有账号(所有互联网用户)对整个桶及桶内所有对象执行以下权限: HeadBucket:判断桶是否存在、获取桶元数据
REPLACE_NEW:表示对于已经存在值的元数据进行替换,不存在值的元数据进行赋值,未指定的元数据保持不变(自定义头域作替换处理)。 REPLACE:表示使用当前请求中携带的头域完整替换,未指定的元数据(本表中除x-obs-storage-class的其它元数据)会被删除。 默认取值: 无 Cache-Control
OBS客户端通用示例 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 调用ObsClient的相关接口均需要传入请求数组(associative array类型)作为输入。对于桶
对单个IAM用户授予指定对象的读权限 场景介绍 本案例介绍如何为华为云账号下的某个IAM用户授予OBS桶中某个对象或某类对象的读权限。 推荐配置方法 对单个IAM用户授予资源级别权限,推荐使用桶策略。 配置须知 本案例预置的“对象只读”模板允许指定IAM用户对桶内指定对象执行以下权限:
对其他账号授予桶的读写权限 场景介绍 本案例介绍如何为其他华为云账号授予OBS桶的读写权限。这里的账号指华为云账号本身,不包含账号下的IAM用户,如果要为IAM用户授权,请参见对其他账号下的IAM用户授予桶和桶内资源的访问权限。 推荐配置方法 对其他账号授权,推荐使用桶策略。 配置须知
对所有账号授予指定对象的读权限 场景介绍 某公司A使用OBS存储了大量全球各地的地图数据,这些数据需要对外开放供所有人查阅。在这种情况下,该公司便可以为这部分数据设置所有账号的读取权限,然后将这些数据对应的URL公开在互联网上,所有人就可以使用这个URL访问或下载这些公开数据了。 配置须知
对其他账号授予指定对象的读权限 场景介绍 本案例介绍如何为其他账号授予OBS桶中某个对象或某类对象的读权限。这里的账号指华为云账号本身,不包含账号下的IAM用户,如果要为IAM用户授权,请参见对其他账号下的IAM用户授予桶和桶内资源的访问权限。 推荐配置方法 对其他账号授权,推荐使用桶策略。