检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。
OutputStream可将对象的内容读取到本地文件或者内存中;用户也可以调用OBS .NET SDK提供的GetObjectResponse.WriteResponseStreamToFile方法,将对象内容下载到本地文件中。 GetObjectResponse.OutputStream获取的响应流一
× × 设置桶的加密配置 setBucketEncryption × × × × × × 获取桶的加密配置 getBucketEncryption × × × × × × 删除桶的加密配置 deleteBucketEncryption × × × × × × 设置桶的自定义域名配置
跨域资源共享(CORS)是由W3C标准化组织提出的一种网络浏览器的规范机制,定义了一个域中加载的客户端Web应用程序与另一个域中的资源交互的方式。而在通常的网页请求中,由于同源安全策略(Same Origin Policy,SOP)的存在,不同域之间的网站脚本和内容是无法进行交互的。OBS支持CORS规范,允许跨域请求访问OBS中的资源。
地调整资源使用,无需提前预置资源,从而降低预置过多或不足的风险。一般适用于电商抢购等设备需求量瞬间大幅波动的场景。 表1列出了两种计费模式的区别。 表1 计费模式 计费模式 包年/包月 按需计费 付费方式 预付费 按照订单的购买周期结算。 后付费 按照OBS实际使用时长计费。 计费周期
M自定义策略、自定义创建桶策略。 OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 BucketMetadataInfoResult.getAllowMethods等方法的值参见桶的跨域资源共享(CORS)配置。 方法定义 obsClient
包,赠送的请求次数也会叠加。如果您的包月资源包进行了升配,赠送的请求次数也会进行升级,剩余请求次数=升配后的请求次数-原来已使用的请求次数。 除了服务端返回的状态码为5XX或403错误的请求外,其余的请求均会计入请求次数。 举例 示例一 以上传对象为例,对一个对象或者段的每一次操
OBS中存储的标准存储数据所占用的存储空间容量,区分单AZ存储和多AZ存储。了解单AZ和多AZ的区别 存储时间按照数据在OBS中存储的实际天数计算。 存储单个对象小于64KB按64KB计算,大于64KB按实际大小计算。 按需计费 包年包月 低频访问存储数据容量 OBS中存储的低频访问
其账号下的IAM用户;授权的范围是以桶为粒度的,一条ACL策略为一个桶设置策略,因此设置ACL策略时您必须明确指定桶名;桶ACL授予的权限包括桶的访问权限和桶ACL的访问权限两个方面,桶的访问权限包括对桶及桶内对象的查看和编辑权限,桶ACL的访问权限包括对桶ACL策略的查看和编辑
Browser+提供文件夹分享和授权码登录的功能,轻松为您完成数据分享。 首先,您登录OBS Browser+后,选择您要分享的目录右键或者单击操作栏的分享按钮。 然后,选择分享链接的有效期,并输入提取码,然后创建分享即可以生成分享链接及二维码。 最后,您可以将生成的分享链接信息或二维码发送给您需要分享的其他人,
OBS的文件夹与文件系统的文件夹是否一样? 不一样。 OBS并没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据,OBS提供了一种方式模拟文件夹。实际上在OBS内部是通过在对象的名称中增加“/”,将该对象在OBS管理控制台上模拟成一个文件夹的形式展现。 父主题: 产品咨询
读ACP权限 如果有读ACP的权限,则可以获取对应的桶或对象的权限控制列表(ACL)。 桶或对象的所有者永远拥有读对应桶或对象ACP的权限。 ObsClient.enums.PermissionReadAcp 写ACP权限 如果有写ACP的权限,则可以更新对应桶或对象的权限控制列表(ACL)。
本章节提供了OBS使用过程中的安全最佳实践,旨在为提高整体安全能力提供可操作的规范性指导。 企业数据权限控制最佳实践 本最佳实践提供了企业开通OBS后可以设置的四种常见权限控制。 为不同职能部门的员工设置不同的访问权限,以此达到不同部门人员访问公司数据的权限隔离。 设置权限允许其他部门/项目用户下载共享数据,禁止写删。
访问对象数据。 前提条件 已通过OBS管理控制台设置匿名用户读取该指定对象的权限。对象ACL权限设置请参考ACL章节。 操作步骤 登录OBS Browser+。 选中待配置的对象,单击需要共享的对象右侧的图标,如下图1、图2所示。 图1 分享文件 图2 分享文件夹 单击“复制链接
添加到HTTP请求的Authorization Header头域 添加到URL的Query参数 POST上传(表单上传)情况下,添加到表单 4 发送携带签名S的API调用请求 将携带签名信息的请求发送给服务端。 OBS服务端 5 接收调用请求 接受客户端的调用请求。 6 验证签名 服
OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。创建桶时,如果使用的终端节点归属于默认区域华北-北京一(cn-north-1),则可以不指定区域;如果使用的终端节点归属于其他区域,则必须指定区域,且指定的区域必须与终端节点归属的区域一致。当前
已删除的数据是否可以恢复? 已删除的数据能否恢复取决于您是否开启了多版本控制功能: 桶开启了多版本控制功能时,删除的对象会保存到“已删除对象”列表中,您可以在“已删除对象”列表中恢复对象,详情请参见取消删除文件。 桶没有开启多版本控制功能时,删除对象时系统会完全删除数据,已删除的对象不可恢复。
00~19:00)的实际用量,根据实际用量产生话单并结算扣费。例如,在19:30结算的费用一般为18:00~19:00期间产生的费用,也可能存在延迟,即19:30结算的费用也可能为17:00~18:00期间产生的费用。 费用结算的最小时长为1小时,与具体的上传时刻无关。例如在结
出现“客户端与服务器的时间相差15分钟”的报错 问题: 使用OBS时出现报错“客户端与服务器的时间相差大于15分钟”或“The difference between the request time and the current time is too large”。 原因:
OBS的数据冗余存储方式是什么? OBS采用Erasure Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。 在满足同等可靠性要求的前提下,EC的空间利用率优于多副本。 数据冗余存储策略为“单AZ”的桶,在AZ内的节点间使用EC算法做数据冗余;“多AZ”的桶在AZ内