检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用示例 以迁移HDFS上的“/data/sample”目录为例,执行以下命令查看HDFS文件系统上此目录下的文件与目录。
图2 存算分离方案中的OBSFileSystem OBS服务支持对象存储桶(对象语义)和并行文件系统(POSIX文件语义),在大数据场景下建议选择并行文件系统。
前提条件 给用户组授权之前,请您了解用户组可以添加的OBS权限,并结合实际需求进行选择,OBS支持的系统权限,请参见:OBS系统权限。如果您需要对除OBS之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。
可能在11月10日当天,也可能在11月11日,这取决于系统的下一次扫描在何时进行。
系统策略 无 下表列出了OBS常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。
16 17 18 19 20 21 22 23 24 25 # 引入模块 from obs import WorkflowClient # 创建WorkflowClient实例 workflowClient = WorkflowClient( access_key_id=os.getenv
] macOS/Linux操作系统 .
桶默认域名 桶创建成功后,系统会根据桶名和桶的区域信息生成一个访问域名,即桶默认域名。 例如:examplebucket.obs.cn-north-4.myhuaweicloud.com。
16 17 18 19 20 21 22 23 24 25 # 引入模块 from obs import WorkflowClient # 创建WorkflowClient实例 workflowClient = WorkflowClient( access_key_id=os.getenv
前提条件 给用户组授权之前,请您了解用户组可以添加的OBS权限,并结合实际需求进行选择,OBS支持的系统权限,请参见:OBS系统权限。如果您需要对除OBS之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。
403 Forbidden InvalidAccessKeyId 系统记录中不存在客户提供的Access Key Id。 携带正确的Access Key Id。 403 Forbidden NotSignedUp 你的账户还没有在系统中注册,必须先在系统中注册了才能使用该账户。
Linux/Mac操作系统 上传文件 .
os.Getenv("SecretAccessKey") // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。
使用建议 对于并行文件系统目录,大数据场景下(目录层级深、目录下文件多)的删除,可能会因超时而删除失败。 建议使用: hadoop 客户端(嵌套OBS客户端插件OBSA)删除目录:hadoop fs - rmr obs://{并行文件系统名}/{目录名}。
对象存储桶和并行文件系统之间可以相互复制,前提是该功能同时在对象存储桶和并行文件系统都支持。 使用方式 OBS支持通过控制台复制桶配置信息,不支持通过API、SDK、OBS Browser+、obsutil方式复制桶配置信息。
对于并行文件系统,修改写和截断文件会改变文件的最后一次修改时间。 对于对象桶和并行文件系统,上传或者复制同名对象(或文件)会更新对象(或文件)的最后一次修改时间。如果未开启多版本控制,对象(或文件)的最后一次修改时间变更为新上传时间。
16 17 18 19 20 21 22 23 24 25 # 引入模块 from obs import WorkflowClient # 创建WorkflowClient实例 workflowClient = WorkflowClient( access_key_id=os.getenv
针对同一个对象或桶的操作,比如多个客户端对同一个对象并行上传、查询和删除时,具体操作结果依赖于操作到达系统的时间和系统内部处理的时延,可能返回不一致的结果。比如,当多个客户端并行上传同一个对象时,系统最后收到的上传请求会覆盖前一个上传的对象。
购买的标准存储包、归档存储包和公网流出流量包可同时应用于并行文件系统和对象存储桶。由于并行文件系统暂时不支持跨区域复制和回源,所以无法使用对应流量包。
卸载OBS Browser+ 卸载OBS Browser+的操作步骤如下: 在Windows系统的“控制面板 > 程序 >程序和功能”中,找到“obs-browser-plus xxx”。 单击右键,选择“卸载”。 根据提示完成卸载。