检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
受影响的对象前缀,此规则只作用于符合前缀的对象。 最新版本对象的转换策略,指定方式为: 指定满足前缀的对象创建后第几天时转换为指定的存储类型。 直接指定满足前缀的对象转换为指定的存储类型的日期。 最新版本对象过期时间,指定方式为: 指定满足前缀的对象创建后第几天时过期。 直接指定满足前缀的对象过期日期。 历史版本对象转换策略,指定方式为:
构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。 升级hdfsreader和hdfswrite
受影响的对象前缀,此规则只作用于符合前缀的对象。 最新版本对象的转换策略,指定方式为: 指定满足前缀的对象创建后第几天时转换为指定的存储类型。 直接指定满足前缀的对象转换为指定的存储类型的日期。 最新版本对象过期时间,指定方式为: 指定满足前缀的对象创建后第几天时过期。 直接指定满足前缀的对象过期日期。 历史版本对象转换策略,指定方式为:
受影响的对象前缀,此规则只作用于符合前缀的对象。 最新版本对象的转换策略,指定方式为: 指定满足前缀的对象创建后第几天时转换为指定的存储类型。 直接指定满足前缀的对象转换为指定的存储类型的日期。 最新版本对象过期时间,指定方式为: 指定满足前缀的对象创建后第几天时过期。 直接指定满足前缀的对象过期日期。 历史版本对象转换策略,指定方式为:
查询桶列表时同时查询桶的存储类型。 j 附加参数,可选,必须与sc参数搭配使用才有意义 查询桶存储类型时的最大并发数,默认为配置文件中的defaultJobs。 说明: 工具会保证该值至少为1。 du 附加参数,可选 快速返回所列举对象的总大小,不显示具体的对象信息,可与其他参数配合使用。
论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象时,可以重写部分HTTP/HTTPS响应头信息。可重写的响应头信息见下表: 参数 作用 ResponseContentType 重写HTTP/HTTPS响应中的Content-Type ResponseContentLanguage
对单个IAM用户授予桶的指定操作权限 场景介绍 本案例介绍如何为华为云账号下的某个IAM用户授予OBS桶的指定操作权限,此处以授予删除桶的权限为例。 如果需要配置其他指定的权限,在桶策略的动作名称中选择对应动作即可。OBS支持的动作 推荐配置方法 对单个IAM用户授予资源级别权限,推荐使用桶策略。
Android SDK对应值 读权限 如果有桶的读权限,则可以获取该桶内对象列表和桶的元数据。 如果有对象的读权限,则可以获取该对象内容和元数据。 Permission.PERMISSION_READ 写权限 如果有桶的写权限,则可以上传、覆盖和删除该桶内任何对象。 此权限在对象上不适用。
upload-id-marker 只有和key-marker一起使用才有意义, 列举时返回指定的key-marker的upload-id-marker之后的多段任务。 类型:String 否 encoding-type 对响应中的部分元素进行指定类型的编码。如果Delimiter、Ke
在使用obsfs之前,需要将访问密钥(AK和SK)信息写入密钥文件,方便在使用并行文件系统时对使用者的身份进行验证。 本章节以将访问密钥信息写入“/etc/passwd-obsfs”文件为例,介绍具体的操作步骤。 前提条件 已获取访问密钥(AK和SK),具体操作请参见资源准备。 操作步骤
利用obsutil进行断点续传 obsutil在上传、下载和复制大文件时通过分段上传/下载/复制算法,可支持断点续传。您可根据具体的场景设置开启分段任务的阈值以实现上传/下载/复制任务失败或中断后的续传。您可通过两种方式指定开启分段任务的阈值: 方法一 指定配置文件中的配置参数:defaultBigfi
上述示例中需要用户手动修改的参数介绍如表2所示: 表2 参数修改 需要修改的参数 解释 GetBucketLogging Action字段的参数值,表示此Policy的操作,Action字段为OBS支持的所有操作集合,以字符串形式表示,不区分大小写。支持通配符“*”,表示该资源能进行的所有操作。
创建桶时,默认是不生成桶的日志的,如果需要生成桶的日志,该桶需要打开日志配置管理的开关。桶日志功能开启后,桶的每次操作将会产生一条日志,并将多条日志打包成一个日志文件。日志文件存放位置需要在开启桶日志功能时指定,可以存放到开启日志功能的桶中,也可以存放到其他您有权限的桶中,但需要和开启日志功能的桶在同一个region中。
账号下的IAM用户;授权的范围是以桶为粒度的,一条ACL策略为一个桶设置策略,因此设置ACL策略时您必须明确指定桶名;桶ACL授予的权限包括桶的访问权限和桶ACL的访问权限两个方面,桶的访问权限包括对桶及桶内对象的查看和编辑权限,桶ACL的访问权限包括对桶ACL策略的查看和编辑权限,详情可参见ACL权限控制方式介绍。
换对象的存储类别、自动淘汰过期的对象,以有效利用存储特性,优化存储空间。针对不同前缀的对象,您可以同时设置多条规则。一条规则包含: 规则ID,用于标识一条规则,不能重复。 受影响的对象前缀,此规则只作用于符合前缀的对象。 最新版本对象的转换策略,指定方式为: 指定满足前缀的对象创建后第几天时转换为指定的存储类别。
助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象时,可以重写部分HTTP/HTTPS响应头信息。可重写的响应头信息见下表: 参数 作用 OBS Android SDK对应方法 contentType 重写HTTP/HTTPS响应中的Content-Type ObjectRepleaceMetadata
单击“确定”,完成自定义策略创建。 创建用户组并授权。 按照IAM文档指导,将前面步骤创建的自定义策略添加到用户组中。 将需要授权的IAM用户加入到创建的用户组中,授权完成。 由于缓存的存在,授予OBS相关的策略后,大概需要等待10~15分钟策略才能生效。 父主题: 对当前账号下单个IAM用户授权
获取用户组名称和ID 登录华为云,进入IAM控制台,选择“用户组”页签。 单击需要查询的用户组前的下拉框,即可查询用户组名称、用户组ID。 图3 查询用户组名称、用户组ID 获取区域ID 登录华为云,进入IAM控制台,选择“项目”页签。 “项目”列的内容即为所属区域对应的ID。 图4
获取用户组名称和ID 登录华为云,进入IAM控制台,选择“用户组”页签。 单击需要查询的用户组前的下拉框,即可查询用户组名称、用户组ID。 图3 查询用户组名称、用户组ID 获取区域ID 登录华为云,进入IAM控制台,选择“项目”页签。 “项目”列的内容即为所属区域对应的ID。 图4
版将所有三方依赖打包并重定向至包内,不再依赖外部三方包,可避免因依赖冲突导致的问题,相应的 Bundle 版 SDK 占用的空间也更大(7M+)。 在使用普通版本的过程中遇到依赖冲突问题时,可参考 依赖缺失和依赖冲突的解决(Java SDK) 解决。 打开Maven工程的pom.xml文件,在“<dependencies>”节点中加入依赖配置。