检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
细介绍请参见用户权限。 创建部门管理员和部门用户对应的IAM用户。如何创建请参见创建IAM用户。 将部门管理员加入“admin”用户组,并将部门用户加入具有“OBS Buckets Viewer”权限的用户组。如何加入用户组并授权请参见给IAM用户授权。 创建桶。 部门A、B的管理员用户分别创建属于自己部门的桶。
HeadPermission.PRIVATE private 私有读写。 桶或对象的所有者拥有完全控制的权限,其他任何人都没有访问权限。 HeadPermission.PUBLIC_READ public-read 公共读私有写。 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本。
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。 升级hdfsrea
公共可访问的源端地址。 类型:Container 否 master 主源端地址。如果源端为HTTP公共可访问的桶,则此地址为桶域名地址。如果源端为其他云厂商的私有桶,则此地址为区域域名地址。 类型:Array 有效取值:单个源站地址格式为https|http://xxx.yyy.zzz,长度为[10
Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的:HDFS租约机制可以保证并发写同一个文件时不会产生一致性问题,但是OBS实现的HDFS协议不支持租约Lease机制(并发写同一个文件时将产生不可
K)。 Access Key Id(AK):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 Secret Access Key(SK):与访问密钥ID结合使用的私有访问密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。
如何判断是否内网访问OBS? 假设某用户拥有一台华北-北京四区域的ECS,同时拥有一个华北-北京四区域的OBS桶(桶名为example-bucket)。 判断是否内网访问的方法如下: 在ECS中ping需要确认的OBS桶的全局域名,如果响应的IP地址为100网段或214网段,则说明ECS访问此OBS桶为内网访问。
我对存储在OBS上的数据加密时,可支持哪些加密技术? 您在将数据上传到OBS中前,可以事先对数据进行加密,以保证传输和保存的安全性。OBS不限定客户端加密的技术。 用户可根据需要对对象进行服务端加密,使对象更安全的存储在OBS中。 需要上传的对象可以通过数据加密服务器提供密钥的方
使用备份软件实现本地数据备份至OBS 使用场景 传统的备份与恢复方案需要将备份数据写入磁带等存储设备,然后再运输至数据中心。在此过程中数据的安全及完整性依赖很多因素,比如硬件、人员等等。无论是从前期搭建数据中心还是后期的维护,都使得传统的备份与恢复方案面临着管理复杂、投入成本高的难题。
上传对象 操作场景 您可以根据需要,将任何类型的文件上传到OBS桶中进行存储。 下面介绍如何调用PUT上传API在指定的桶中上传对象,API的调用方法请参见如何调用API。 前提条件 已获取AK和SK,获取方法参见获取访问密钥(AK/SK)。 已创建了至少一个可用的桶。 已准备好
桶所有者的账号ID,即domain_id。 取值范围: 如何获取账号ID请参见如何获取账号ID和用户ID?。 默认取值: 无 displayName String 可选 参数解释: 所有者的账号名。 取值范围: 如何获取账号名请参见如何获取账号名?。 默认取值: 无 表11 StorageClassEnum
本实践中桶绑定的自定义域名为“click.my-video.com”。如果回显CDN分配的CNAME域名,则表示CNAME配置已经生效。 开启私有桶回源 由于当前存储软件包的桶为私有桶,需要前往CDN开启私有桶回源,CDN才能从OBS中回源获取数据。 登录华为云控制台,在控制台首页选择“CDN与智能边缘 > CDN”,进入CDN控制台。
服务端加密 用户可根据需要对对象进行服务端加密,使对象更安全的存储在OBS中。 跨域资源共享 跨域资源共享(CORS)是由W3C标准化组织提出的一种网络浏览器的规范机制,定义了一个域中加载的客户端Web应用程序与另一个域中的资源交互的方式。而在通常的网页请求中,由于同源安全策略(Same Origin
触发器配置不当导致“无限循环”触发Data+工作流如何处理? 由于OBS只能按触发器前缀、后缀、事件源类型等条件触发Data+工作流,无法保证触发消息不出现“无限循环”的场景。如果出现“无限循环”,只能先删除桶的事件触发器。主要有以下两个场景: 场景1:触发器源桶和函数执行输出目标桶是同一个桶的无限循环
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
tNumber时,服务端遵循Last Write Win策略,但“Last Write”的时间定义为段元数据创建时间。为了保证数据准确性,客户端需要加锁保证同一对象的同一个段上传的并发性。同一对象的不同段并发上传不需要加锁。 方法定义 ObsClient.uploadPart(bucketName
获取上传进度 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过PutObjectRequest.setProgressListener设置数据传输接口来获取上传的进度。示例代码如下:
方案概述 应用场景 随着大数据技术的飞速发展,对数据价值的认识逐渐加深,大数据已经融入到了各行各业。根据相关调查报告数据显示,超过39.6%的企业正在应用大数据并从中获益;超过89.6%的企业已经成立或计划成立相关的大数据分析部门;超过六成的企业在扩大大数据的投入力度。对各行业来
我们用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region