检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataX是一个数据同步框架,实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤
获取桶列表 操作场景 如果用户想要查看自己创建的所有桶信息,可以使用获取桶列表接口查看。 下面介绍如何调用获取桶列表API,API的调用方法请参见如何调用API。 前提条件 已获取AK和SK,获取方法参见获取访问密钥(AK/SK)。 您需要明确需要列举的桶所在的区域信息,并根据区
出现“客户端与服务器的时间相差大于15分钟”的报错 问题 当出现“客户端与服务器的时间相差大于15分钟”的报错时,无法正常使用OBS。 回答 出于安全目的,OBS会校验Browser和服务器的时间差,当该时间差大于15分钟时,会出现此报错。请根据本地UTC时间调整本地时间以避免此问题。 父主题:
extensionHeaders) 请求参数说明 表1 请求参数列表 参数名称 参数类型 是否必选 描述 isQueryLocation bool 可选 参数解释: 是否同时查询桶的区域位置。 取值范围: True:同时查询桶的区域位置 False:不查询桶的区域位置 默认取值: False extensionHeaders
开启“清理服务器存储”后,上传至媒体库的图片和其他附件在上传到OBS后会在本地删除,因此在停用插件后,无法利用本地数据做恢复和替换。 单击“保存配置”,完成配置。 测试配置是否成功。 新建文章进行测试,在文章中插入图片,插入成功后发布文章。 在图片右键复制图片地址,可以查看当前图片URL
如何永久分享文件或文件夹 通过OBS Browser+工具可以实现分享文件或分享文件夹,通过该方式生成的分享链接中都包含链接的有效时间,超过有效期后即无法通过该链接继续访问。 永久分享文件:可通过将对象权限设置为匿名用户读取权限,通过获取对象URL,匿名用户通过该URL地址访问对象数据。
查看桶多版本状态 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.getBucketVersioning查看桶的多版本状态。以下代码展示了如何查看桶的多版本状态:
出于安全目的,OBS会校验客户端与OBS服务器的时间差,当该时间差大于15分钟时,OBS服务器会拒绝您的请求,从而出现此报错。 解决办法: 请根据本地UTC时间调整本地时间后再访问。 父主题: OBS控制台使用相关
资源包到期后OBS资源会如何处理? 资源包到期后您可以进行续费以延长资源包的有效期,具体可参考资源包续订,未续期则到期后自动转为按需计费;按需计费没有到期的概念,只要保证账号余额充足,则可一直使用对象存储服务。 如果账号欠费,会根据“客户等级”定义不同的保留期时长。进入保留期后您在O
请求中携带的头域。请求头域列表Map中第一个String代表请求头域的名称,第二个String代表对应请求头域名称的取值。 默认取值: 无 queryParams Map<String, Object> 可选 参数解释: 请求中携带的查询参数。参数列表Map中的String为查询参数的名称,Object为对应查询参数名称的取值。
IAM根据传入的policy内容以及有效时间来生成拥有不同权限和不同有效期的临时访问密钥并返回给用户服务器。 用户服务器将临时访问密钥分发给对应权限的终端APP。 终端APP可通过临时访问密钥使用OBS SDK或API访问OBS服务,因临时凭据的有效时间较短,终端APP需及时向用户服务器请求更新临时访问密钥。
当存在运行中断或失败的分段上传任务并产生碎片后,您可以继续运行中断或失败的上传任务来消除碎片,或直接将碎片删除以节省存储空间。 继续运行中断或失败的分段上传任务消除碎片 OBS提供任务管理功能,当分段上传任务中断或失败时,您可以通过以下多种方式继续运行这些任务,任务完成后,碎片也会随着消除。 表1 消除碎片的不同方式
如何获取对象URL? 按https://桶名.域名/文件夹目录层级/对象名的方式进行拼接。 如果该对象存在于桶的根目录下,则链接地址将不需要有文件夹目录层级。 各区域对应的域名可以从这里的终端节点查看。 例如需访问区域为“华北-北京四”的桶名为“testbucket”中“test”文件夹下对象名为“test
如何查看桶内的文件夹大小? 可以使用obsutil列举对象命令,指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例,运行./obsutil ls obs://bucket-test/test/ -du -limit=0命令,查询桶bucket-test下test文件夹的大小。
该请求的响应消息使用公共消息头,具体请参考表1。 响应消息元素 表2 响应元素 名称 参数类型 说明 count Int 满足条件的运行实例个数。 executions Array Execution 实例信息列表。 is_truncated Boolean 表明是否本次返回的结果列表被截断。 true:表示本次没有返回全部结果。
et/warehouse/hive</value> </property> 可选配置,当添加了上述配置后在创建Hive表时将不用再显示指定location,创建的Hive表将自动落在OBS上。 执行以下命令,初始化元数据。 /opt/hive-2.3.3/bin/schematool
如何获取SecurityToken?(Java SDK) 临时AK/SK和SecurityToken是系统颁发给IAM用户的临时访问令牌,有效期可以设置为15分钟至24小时,过期后需要重新获取。 获取SecurityToken可以参考IAM开发指导文档示例,其他获取方式也可以参考
该请求的响应消息使用公共消息头,具体请参考表1。 响应消息元素 名称 参数类型 说明 count Int 列表条数。 graphs Array GraphItem 工作流模板列表信息。 next_start Int 下一次查询的起始位置。 is_truncated Boolean 表明是否本次返回的Li
单击待恢复文件所在的桶,进入对象列表页面。 选中待恢复文件,单击“更多”->“恢复对象”,如下图1所示。 图1 恢复对象 恢复对象需要设置对象的有效期和恢复速率,参数解释如表1所示: 表1 恢复对象 参数 说明 对象名 恢复的对象名。 有效期 对象恢复后,保持为“已恢复”状态的时间。从对象恢复完成
的区别 存储时间小于30天按30天计算,大于30天按实际天数计算。早于30天删除或转换为其他存储类别,需要补足剩余天数的存储费用。费用为一次性收取,收取的费用=低频访问存储的存储空间单价*容量*剩余天数/30。 存储单个对象小于64KB按64KB计算,大于64KB按实际大小计算。