检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传/下载性能优化 OBS Browser+对大于50MB的文件/对象默认采用分段方式进行上传/下载,与分段任务相关的参数都在“系统设置”->“基础设置”中。 表1 参数 描述 最大并行任务数 任务同时运行的最大数量,默认是3,取值范围是:1~50。 单任务最大并发数 每个任务的
ak = os.getenv("AccessKeyID") sk = os.getenv("SecretAccessKey") # 【可选】如果使用临时AKSK和SecurityToken访问OBS,则同样推荐通过环境变量获取 # security_token = os.getenv("SecurityToken")
30分钟才能创建同名桶或并行文件系统。 长度范围为3到63个字符,支持小写字母、数字、中划线(-)、英文句号(.)。 禁止两个英文句号(.)相邻,禁止英文句号(.)和中划线(-)相邻,禁止以英文句号(.)和中划线(-)开头或结尾。 禁止使用IP地址。 创建完成后,您可以在桶列表页查看到已创建的桶。
此参数在列举桶时无效,仅在列举对象时生效。 fs 附加参数,可选 是否使用并行文件系统的列举方式,如果桶是并行文件系统,推荐加上该参数。 注意: 该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。
GET:请求服务器返回指定资源,如获取桶列表、下载对象等。 PUT:请求服务器更新指定资源,如创建桶、上传对象等。 POST:请求服务器新增资源或执行特殊操作,如初始化上传段任务、合并段等。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器返回指定资源的概要,如获取对象元数据等。
创建目录分享的授权码 功能说明 指定桶名、对象名前缀和提取码,创建目录分享的授权码。 命令结构 Windows操作系统 obsutil create-share obs://bucket[/prefix] [-ac=xxx] [-vp=xxx] [-dst=xxx] [-config=xxx]
基于安全合规要求,华为云对象存储服务禁止使用OBS桶默认域名在线预览桶内对象,当您将文件上传至OBS桶后,OBS会使用桶的默认域名自动生成文件的访问地址,在浏览器访问该文件地址时,不会显示文件内容,而是以附件形式下载。 OBS不支持在线预览对象而是以附件形式下载对象的生效时间和区域如下: 自2022年
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 桶配额是桶容量的上限值。默认情况下,OBS系统和单个桶都没有总数据容量和对象数量的限制。您可以根据需要,为桶设置配额限制来控制桶内允许上传的对象总容量,超过设置的对象容量后,上传对象会
恢复对象任务状态一直是恢复中 OBS Browser+中任务数量达到了百万级别及以上,系统会处于海量查找的状态中,因批量恢复的对象数量较多,browser+在这种数量级的恢复请求下,获取真实的恢复状态会很慢,实际恢复请求已经成功。建议通过服务端或者其他途径进行查询对象的实际状态,
7、SUSE 12以及Ubuntu 16的操作。 前提条件 下载libfuse源码,并编译生成libfuse.so.2.9.7。 libfuse下载地址:https://github.com/libfuse/libfuse/releases/tag/fuse-2.9.7 tar -zxvf
合并段 功能介绍 如果用户上传完所有的段,就可以调用合并段接口,系统将在服务端将用户指定的段合并成一个完整的对象,了解完整的分段上传流程请参见分段上传。在执行“合并段”操作以前,用户不能下载已经上传的数据。在合并段时需要将多段上传任务初始化时记录的附加消息头信息拷贝到对象元数据中
访问,避免数据被窃取。详情请参见限制指定IP地址对桶的访问权限、配置双端固定和桶策略参数说明。 建议使用双端固定,即同时设置VPC终端节点策略与桶策略,对OBS的资源进行权限控制 设置VPC终端节点策略可以限制VPC中的服务器(ECS/CCE/BMS)访问OBS中的特定资源;同时
授权码列举对象 功能说明 使用授权码查询桶内对象,返回对象列表将按照对象名以字典序排列。 命令结构 Windows操作系统 直接输入授权码 obsutil share-ls authorization_code [-ac=xxx] [-prefix=xxx] [-s] [-d] [-marker=xxx]
归档日志文件 功能说明 将日志文件归档到本地,或归档到指定的桶。 命令结构 Windows操作系统 归档到本地 obsutil archive [file_or_folder_url] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
下载并安装obsfs obsfs工具于2024年7月1日下线,下线后OBS不再对此工具提供维护和客户支持服务,请使用s3fs将OBS对象桶挂载至Linux系统,给您带来不便敬请谅解。如有问题请提交工单寻求技术支持。 配置运行环境 obsfs的运行环境依赖openssl-devel、fuse、fu
access_key_id 访问密钥中的AK。 N/A secret_access_key 访问密钥中的SK。 N/A server 连接OBS的服务地址。可包含协议类型、域名、端口号。示例:https://your-endpoint:443。(出于安全性考虑,建议使用https协议) N/A
10~15分钟权限才能生效。 表1为OBS的所有系统权限。 表1 OBS系统权限 系统角色/策略名称 描述 类别 依赖关系 Tenant Administrator 拥有该权限的用户拥有除IAM外,其他所有服务的所有执行权限。 系统角色 无 Tenant Guest 拥有该权限的
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的:HDFS租约机制可以保证并发写同一个文件时不
由于该参数值必定含有<和>,作为命令运行时,必须使用引号转义(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)。 fs 附加参数,可选 是否使用并行文件系统的列举方式,如果桶是并行文件系统,推荐加上该参数。 注意: 该列举方式会因为目录结构,耗时会差别很大。 该