检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
3.0支持 并行文件系统 并行文件系统(Parallel File System)是OBS提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,以及TB/s 级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。 您可以按照标准的OBS接口读取并行文件系统中的
速度变慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制? 并行文件系统是否支持挂载到Windows服务器?
对单个IAM用户授予桶的读写权限 场景介绍 本案例介绍如何为华为云账号下的某个IAM用户授予OBS桶的读写权限。 推荐配置方法 对单个IAM用户授予资源级别权限,推荐使用桶策略。 配置须知 本案例预置的“桶读写”模板允许指定IAM用户对整个桶及桶内所有对象执行除以下权限以外的所有权限:
则,生成一个对象写入用户指定的桶。 使用场景 出于分析或审计等目的,用户可以开启日志记录功能。通过访问日志记录,桶的拥有者可以深入分析访问该桶的用户请求性质、类型或趋势。当用户开启一个桶的日志记录功能后,OBS会自动对这个桶的访问请求记录日志,并生成日志文件写入用户指定的桶(即目标桶)中。
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
其中桶ACL的读取和写入这两种权限永远拥有,且不支持修改。 对象的拥有者是上传对象的账号,而不是对象所属的桶的拥有者。对象拥有者默认拥有其对象的所有访问权限,其中对象ACL的读取和写入这两种权限永远拥有且不支持修改。 须知: 不建议修改桶拥有者对桶的读取和写入权限。 匿名用户 未
ListBucketMultipartUploads 写入权限 PutObject DeleteObject DeleteObjectVersion 对象权限 对象读权限 GetObject ACL访问权限 读取权限 GetBucketAcl 写入权限 PutBucketAcl 对象ACL和桶策略的映射关系
临时访问密钥的SecurityToken。 NULL - bucket_type 创桶时,指定是对象桶还是并行文件系统 对象桶:OBS_BUCKET_OBJECT - bucket_list_type 列举桶时,确定列举桶的类型:所有桶、对象桶、并行文件系统 所有桶:OBS_BUCKET_LIST_ALL - 表2 obs_options
查看对应用户类型的桶访问权限下是否展示“写入权限”。 图1 查看写入权限的展示状态 如果已展示“写入权限”,此时仍然无法删除对象,请继续步骤3。 如果未展示“写入权限”,此时请继续步骤2。 给对应类型的用户添加写入权限。 单击右边的“编辑”操作。 在弹窗内勾选“桶访问权限 > 写入权限”。 单击“确定”。
x-obs-bucket-type 通过此消息头明确获取的列表内容。 取值: OBJECT:获取所有桶列表。 POSIX:获取所有并行文件系统列表。 不带此消息头则获取所有桶和并行文件系统列表。 示例:x-obs-bucket-type: POSIX 否 请求消息元素 该请求消息中不带请求元素。
是如下几种情况导致的: 通过桶的ACL设置功能,限制了该桶的访问权限(如:该用户无桶的写入权限)。 通过桶的桶策略功能,限制了该桶的访问权限(如:当前时间段不允许对桶进行写入、该用户无桶的写入权限等)。 请检查桶的ACL设置和桶策略配置,排查错误。 单击消息提示框中的“确定”。 父主题:
下载并安装obsfs obsfs工具于2024年7月1日下线,下线后OBS不再对此工具提供维护和客户支持服务,请使用s3fs将OBS对象桶挂载至Linux系统,给您带来不便敬请谅解。如有问题请提交工单寻求技术支持。 配置运行环境 obsfs的运行环境依赖openssl-devel
在OBS管理控制台左侧导航栏选择“桶列表”。 在桶列表中,选择待删除的桶,并单击右侧的“删除”。 用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。 单击“确定”,确认删除桶。 图1 删除桶 使用API 删除桶 使用SDK Java Python C Go BrowserJS
支持的区域请参见功能总览。 × √ 并行文件系统 并行文件系统(Parallel File System)是OBS提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,以及TB/s 级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。您可以按照标准的OBS接口读取并行文件系统中的
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满,会影响业务运行,您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况,并创建告警规则,当容量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时,您需要及时清理SFS
是如下几种情况导致的: 通过桶的ACL设置功能,限制了该桶的访问权限(如:该用户无桶的写入权限)。 通过桶的桶策略功能,限制了该桶的访问权限(如:当前时间段不允许对桶进行写入、该用户无桶的写入权限等)。 请检查桶的ACL设置和桶策略配置,排查错误。 文件必须有访问权限才可以上传,否则上传任务会失败。
的底层存储。 图2 存算分离方案中的OBSFileSystem OBS服务支持对象存储桶(对象语义)和并行文件系统(POSIX文件语义),在大数据场景下建议选择并行文件系统。并行文件系统支持POSIX文件语义,通过OBSFileSystem封装,相较对象语义增加Rename、Ap
后台运行 如果您有大量任务在OBS Browser+中运行,同时希望能够关闭OBS Browser+的UI界面,以方便进行其他操作,同时希望所有的任务能够后台运行。这时候,您可以单击关闭OBS Browser+工具,并选择后台运行;这时候您的所有任务将进入后台运行模式;您可以在系统托盘中双击OBS
桶类型取值可参见BucketType。 默认取值: 如果不赋值则默认获取所有桶和并行文件系统列表。 表3 BucketType 常量名 原始值 说明 OBJECT OBJECT 对应类型为对象存储桶。 POSIX POSIX 对应类型为并行文件系统(POSIX)。 返回结果说明 表4 返回结果列表 参数名称
site.xml #给删表权限 hive.allow-drop-table=true 日志配置文件 创建文件log.properties 写入内容:com.facebook.presto=INFO 备注:日志级别有四种:DEBUG、INFO、WARN和ERROR。 启动presto