检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。
是否支持统计文件夹内的文件数目及大小 OBS Browser+不支持统计文件夹内的文件数目及大小,可以使用obsutil列举对象命令,指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例,运行./obsutil ls obs://bucket-test/test/ -du
删除桶的生命周期配置 功能介绍 删除指定桶的生命周期配置信息。删除后桶中的对象不会过期,OBS不会自动删除桶中对象。 要正确执行此操作,需要确保执行者有PutLifecycleConfiguration权限。默认情况下只有桶的所有者可以执行此操作,也可以通过设置桶策略或用户策略授权给其他用户。
8是OBSA的版本号。 如hadoop版本为3.1.x,则选择hadoop-huaweicloud-3.1.1-hw-53.8.jar。 增加hadoop-huaweicloud的jar包。 在CDH集群各节点执行以下命令,命令请根据hadoop-huaweicloud的jar包名字及实际CDH版本进行适配使用。
对其他账号授予桶的读写权限 场景介绍 本案例介绍如何为其他华为云账号授予OBS桶的读写权限。这里的账号指华为云账号本身,不包含账号下的IAM用户,如果要为IAM用户授权,请参见对其他账号下的IAM用户授予桶和桶内资源的访问权限。 推荐配置方法 对其他账号授权,推荐使用桶策略。 配置须知
响应消息头 该请求的响应消息使用公共消息头,具体请参考表1。 响应消息元素 在此请求返回的响应消息体中包含的配置元素如下表1描述。 表1 生命周期配置元素 名称 描述 Date 指定OBS对该日期之前的对象执行生命周期规则。日期格式必须为ISO8601的格式,并且为UTC的零点。 例如
Date: date Connection: keep-alive 响应消息头 该请求的响应消息使用公共消息头,具体请参考表1。 响应消息元素 该请求的响应消息中不带有响应元素。 错误响应消息 在此请求的响应中不会返回特殊错误。 请求示例 1 2 3 4 5 6 DELETE /?replication
为低频访问存储对象。对象A的版本V1创建于1号,5号的时候又上传新的版本V2,此时V1成为历史版本,那么再过1天,7号的0点,V1就会迁移成低频访问存储对象了。(备注:对象过期后被删除或对象迁移的时间可能会有一定的延迟,一般不超过48小时。) 如果桶的多版本是Enabled或者S
igin str 参数解释: 如果请求中的Origin满足桶的CORS规则,则返回CORS规则中的AllowedOrigin。AllowedOrigin指定允许的跨域请求的来源,即允许来自该域名下的请求访问该对象。 约束限制: 表示域名的字符串,每个匹配规则允许使用最多一个“*”通配符。例如:https://*
户业务对存储性能、成本的不同诉求。创建桶时可以指定桶的存储类别,桶的存储类别可以修改。 在OBS中,桶名必须是全局唯一的且不能修改,即用户创建的桶不能与自己已创建的其他桶名称相同,也不能与同账号、其他账号及账号下的所有IAM子用户创建的桶名称相同。桶所属的区域在创建后也不能修改。
账单管理”查看与OBS相关的流水和明细账单,以便了解您的消费情况。如需了解具体操作步骤,请参见费用账单。 欠费 在使用云服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费可能会导致OBS中存储的数据丢失,需要及时充值。详细介绍请参见欠费说明。 停止计费 当OBS桶中存储的数据不再使
aders str 参数解释: 如果请求的RequestHeader满足桶的CORS规则,则返回CORS规则中的AllowedHeader。AllowedHeader是指允许的跨域请求的头域。只有匹配上允许的头域中的配置,才被视为是合法的CORS请求。 约束限制: 最多可填写一个
00:00间就会有2TB的公网流出流量可以使用。我们会在5月16日00:00:00,重新给您2TB的公网流出流量,此2TB流量您可以在5月16日00:00:00到6月15日24:00:00间使用,以此类推,直至购买的资源包到期为止。如果上个月有未使用完的额度,也会在每月重置时清零。
上传对象时,对象的存储类别默认继承桶的存储类别,您也可以重新指定对象的存储类别,同时也支持在对象上传完成后修改对象的存储类别。 修改桶的存储类别,桶内已有对象的存储类别不会修改,新上传对象时的默认对象存储类别随之修改。 创建桶时设置桶的存储类别 OBS支持使用控制台、API、OBS SDK、OBS
出于安全目的,OBS会校验客户端与OBS服务器的时间差,当该时间差大于15分钟时,OBS服务器会拒绝您的请求,从而出现此报错。请根据本地UTC时间调整本地时间后再访问。 Obs.0005 服务器负载过高,请稍后重试。 Obs.0006 用户拥有的桶的数量已经达到了系统的上限。 一个账号及账号下的所有IAM用户可
分段上传-取消分段上传任务(Python SDK) 功能说明 通过分段上传任务的ID,取消指定桶中的分段上传任务。 您可以选择取消多段上传任务,取消多段上传任务之后无法再次使用该上传ID上传任何段。然后,OBS将释放被取消的多段上传任务中的每个段数据的所有存储。如果有多段上传已在进行中,即使您已执行中止操
细介绍了每个接口的参数和使用方法。 您可以通过GetObjectRequest.DownloadProgress注册System.EventHandler回调函数来获取下载的进度。 本示例用于下载桶名为“bucketname”里,名称为“objectname”的对象并通过System
我的OBS桶性能是否会受其他用户业务的影响? 不会。 OBS对不同的桶之间做了隔离,多个桶之间不会相互影响存储性能。 OBS对不同账号的访问做了性能隔离,不同账号之间不会出现性能干扰或影响。 父主题: 产品咨询
OBS的服务端加密会收取加密的费用吗? OBS的SSE-KMS服务端加密方式除了收取存储的费用,还会在KMS服务侧产生KMS密钥请求费用。 OBS的SSE-OBS服务端加密方式和SSE-C服务端加密方式不会收取加密费用,只收取存储的费用。 KMS密钥请求费用详情请参见数据加密服务如何收费和计费。
参数描述 字段名 类型 约束 说明 ak string 必选 访问密钥中的AK。 sk string 必选 访问密钥中的SK。 endpoint string 必选 连接OBS的服务地址。包含协议类型、域名(或IP)、端口号。示例:https://your-endpoint:44