检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以迁移HDFS上的“/data/sample”目录为例,执行以下命令查看HDFS文件系统上此目录下的文件与目录。 hadoop fs -ls hdfs:///data/sample 执行以下命令,将HDFS文件系统上“/data/sample”目录下所有文件与目录迁移到OBS桶“obs-b
能。 桶中文件具有MD5信息,下载文件时才会做MD5校验。 操作步骤 登录OBS Browser。 单击页面右上角的图标并选择“系统配置”。 在“系统配置>基本配置”窗口,勾选“启用MD5校验”,如图1所示。 图1 配置MD5校验 单击“保存”。 选择待上传文件的桶,上传文件。
给用户组授权之前,请您了解用户组可以添加的OBS权限,并结合实际需求进行选择,OBS支持的系统权限,请参见:OBS系统权限。如果您需要对除OBS之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。 示例流程 图1 为IAM用户授权OBS资源权限 下面内容以配置IAM用户的对象存储服务“Tenant
见使用IAM自定义策略、自定义创建桶策略。 OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 方法定义 obsClient.listInventoryConfiguration(ListInventoryConfigurationRequest
给用户组授权之前,请您了解用户组可以添加的OBS权限,并结合实际需求进行选择,OBS支持的系统权限,请参见:OBS系统权限。如果您需要对除OBS之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。 示例流程 图1 为IAM用户授权OBS资源权限 下面内容以配置IAM用户的对象存储服务“Tenant
ZIP包,可能会触发循环执行。 例如,ZIP包“AA.zip”中包含ZIP包“BB.zip”。如果前缀置空,当"AA.zip"解压完成后,系统会继续对解压出的"BB.zip"进行解压。设置前缀可以规避该问题。 目标目录:ZIP包解压生成文件的存放目录,如果不设置,函数计算会将生成的文件存放到当前桶的主目录下。
gcc/g++版本: gcc (GCC) 10.3.0/g++ (GCC) 10.3.0 SDK二进制包编译环境如上,其余内核和操作系统的兼容性不做保证。如果有其它操作系统或者内核版本的需求,请使用开源代码自行编译。
添加桶 桶是OBS中存储对象的容器。您需要先创建一个桶,然后才能在OBS中存储数据。 一个账号及账号下的所有IAM用户可创建的桶+并行文件系统的上限为100个。建议结合OBS细粒度权限控制能力,合理进行桶规划和使用。例如,建议在桶内根据对象前缀划分不同的目录,通过细粒度权限控制实
置信息,与已存在的配置信息冲突的规则不会复制。 源桶和目标桶的桶版本号都必须是3.0。 对象存储桶和并行文件系统之间可以相互复制,前提是该功能同时在对象存储桶和并行文件系统都支持。 使用方式 OBS支持通过控制台复制桶配置信息,不支持通过API、SDK、OBS Browser+、obsutil方式复制桶配置信息。
log”会在最近一次系统自动扫描后被删除,可能在11月10日当天,也可能在11月11日,这取决于系统的下一次扫描在何时进行。“doc/保留期内-1”不会被删除。 11月10日更新的对象“log/未配置-2.log”和“log/已过期-2.log”,每下一次系统扫描均会判断距上一次
相关操作 系统配置 账号管理 访问路径 更新客户端版本
在消息确认框中单击“是”。 使用建议 对于并行文件系统目录,大数据场景下(目录层级深、目录下文件多)的删除,可能会因超时而删除失败。 建议使用: hadoop 客户端(嵌套OBS客户端插件OBSA)删除目录:hadoop fs - rmr obs://{并行文件系统名}/{目录名}。 给目录配置生命周期规则,通过生命周期后台删除。
概述,配置方式详见使用IAM自定义策略、自定义创建桶策略。 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义 ObsClient.getBucketAcl(bucketName, extensionHeaders) 请求参数说明 参数名称
log”和“log/test2.log”,会在最近一次系统自动扫描后被删除,可能在1月10日当天,也可能在1月11日,这取决于系统的下一次扫描在何时进行。 1月10日上传的两个对象“log/clientlog.log”和“log/serverlog.log”,每下一次系统扫描均会判断距上一次对象更新是否
对象策略。 用户有待复制的源对象的读权限。 OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 复制对象操作的请求需要通过头域携带拷贝的源桶和对象信息,不能携带消息实体。 支持同区域跨桶复制,不支持跨区域复制。 目标对象大小范围是[0
针对同一个对象或桶的操作,比如多个客户端对同一个对象并行上传、查询和删除时,具体操作结果依赖于操作到达系统的时间和系统内部处理的时延,可能返回不一致的结果。比如,当多个客户端并行上传同一个对象时,系统最后收到的上传请求会覆盖前一个上传的对象。如果需要避免同一个对象被并行访问,需要在上层应用中增加对象的锁机制。
包,由于2月只有28天,则将会在3月1日00:00:00重置资源额度。在此之后,系统默认的重置时间将会变为次月的1日00:00:00。 使用OBS。 资源包购买完成后可以直接使用OBS,无需绑定,系统会根据资源包和桶属性自动匹配。当资源包和桶属性一致时,会自动使用资源包抵扣对应的计费项,无法抵扣的计费项将按需计费。
如,一个低频访问存储对象在OBS中存储了20天后删除,会按照30天计费。 数据恢复:低频访问存储需要先恢复才能访问,恢复过程无需手动操作,系统自动完成用户无感知。低频数据恢复涉及请求费用、数据恢复费用,不涉及临时文件存储费用。 数据恢复是指对于低频、归档存储和深度归档存储的对象,
式详见使用IAM自定义策略、配置对象策略。 OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 方法定义 obsClient.getObjectAcl(GetObjectAclRequest request) 请求参数说明 表1 请求参数列表
log”和“log/test2.log”,会在最近一次系统自动扫描后被删除,可能在1月10日当天,也可能在1月11日,这取决于系统的下一次扫描在何时进行。 1月10日上传的两个对象“log/clientlog.log”和“log/serverlog.log”,每下一次系统扫描均会判断距上一次对象更新是否