正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Linux/Unix系统 前提条件 在使用本工具前,您需完成注册华为帐号并开通华为云,开通OBS,并创建一个可用的桶。 已下载obsftp工具。 工具下载地址:https://github.com/huaweicloud-obs/obsftp 通常Linux/unix系统已安装P
主要优势 详细描述 1 存算分离,资源利用率高 GPU/NPU算力和SFS Turbo存储解耦,各自按需扩容,资源利用率提升。 2 SFS Turbo高性能,加速训练过程 训练数据集高速读取,避免GPU/NPU因存储I/O等待产生空闲,提升GPU/NPU利用率。 大模型TB级Checkp
流出流量费用。 不同场景产生的流量类型如下: 用户在控制台执行对象下载和其他查询类操作(列举对象、获取桶或对象的元数据等),或者在公网使用工具、SDK不经过CDN直接下载对象都会产生公网流出流量。 直接访问OBS桶的访问域名,会产生公网流出流量。 访问CDN加速域名,CDN上源站
省流量费用。 相关参考 如何快速使用obsutil请参见快速使用章节。 如何借助obsutil的命令行进一步熟悉工具使用方法,请参见利用obsutil帮助命令查找工具功能章节。
我可以在桶间进行文件移动吗? 可以。 OBS支持使用工具(OBS Browser+、obsutil)在同一区域内移动对象,您可以移动单个文件或文件夹到其他指定路径下。文件或文件夹被移动后,源路径下的文件或文件夹会被删除。详情请参见使用OBS Browser+移动文件或文件夹或移动对象。
OBS是否支持批量下载文件? OBS管理工具批量下载功能的支持情况: 表1 OBS管理工具批量下载功能 工具 批量下载 管理控制台 不支持 OBS Browser+ 支持 详情请参见下载文件或文件夹。 obsutil 支持,详情请参见下载对象。 SDK 不支持 API 不支持 父主题:
OBS是否支持批量上传文件? OBS管理工具批量上传功能的支持情况: 表1 OBS管理工具批量上传功能 工具 批量上传 管理控制台 OBS管理控制台支持批量上传文件,单次最多支持100个文件同时上传,总大小不超过5GB。详见上传文件。 OBS Browser+ 支持上传多个文件或
obsfs简介 obsfs工具于2024年7月1日下线,下线后OBS不再对此工具提供维护和客户支持服务,请使用s3fs将OBS对象桶挂载至Linux系统,给您带来不便敬请谅解。如有问题请提交工单寻求技术支持。 obsfs是对象存储服务 (Object Storage Servic
启动OBS Browser时出现“OBS Browser由于数据库不可用原因,导致任务管理功能无法正常使用”的报错 问题 在Windows操作系统上启动OBS Browser时,出现“OBS Browser由于数据库不可用原因,导致任务管理功能无法正常使用。请关闭客户端,并前往您的数据库路径(可以在“系统配置
OPTIONS桶 功能介绍 OPTIONS,称为预请求,是客户端发送给服务端的一种请求,通常被用于检测客户端是否具有对服务端进行操作的权限。只有当预请求成功返回,客户端才开始执行后续的请求。 OBS允许在桶内保存静态的网页资源,在正确的使用下,OBS的桶可以成为网站资源。在这种使
OBS SDK快速入门 OBS SDK对OBS服务提供的REST API进行封装,以简化用户的开发工作。您直接调用OBS SDK提供的接口函数即可使用OBS管理数据。 本章节以Java SDK为例,上传一个名为“localfile”的文件至名为“examplebucket”的桶中
Browser+最多一次同时上传500个文件。 使用OBS Browser+工具上传对象,具体请参见上传文件或文件夹。 使用obsutil工具上传 使用obsutil工具采用分段上传最大支持上传48.8TB的单个文件,一次同时上传的文件数量没有限制。 使用obsutil工具上传对象,具体请参见上传对象。 使用OBS
是否支持同步删除文件 不支持;当前obsutil工具支持同步上传本地目录到OBS桶中,同步成功后,如果用户删除了本地目录下的部分文件,再次进行增量同步上传时,工具将只会检查本地存在的文件是否需要增量进行上传,无法感知已删除文件是否需要在目标桶内进行删除。 需要注意的是,如果在上传
级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。您可以按照标准的OBS接口读取并行文件系统中的数据,也可以利用obsfs工具将创建的并行文件系统挂载到云端Linux服务器上,并能像操作本地文件系统一样对并行文件系统内的文件和目录进行在线处理。 支持的区域请参见功能总览。
OBS Browser+工具指南 obsutil obsutil是一款用于访问管理OBS的命令行工具,您可以使用该工具对OBS进行常用的配置管理操作。对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务的不错选择。 obsutil工具指南 obsfs obsfs
在HTTP协议中,通过表头字段referer,网站可以检测目标网页访问的来源网页。有了referer跟踪来源,就可以通过技术手段来进行处理,一旦检测到来源不是本站即进行阻止或者返回指定的页面。防盗链就是通过设置Referer,去检测请求来源的referer字段信息是否与白名单或黑名单
第一次运行obsutil后,工具会对AK进行加密以保护密钥安全。 N/A sk 可选 访问密钥中的SK。当配置了autoChooseSecurityProvider为true时可选。 说明: 您可以从这里进入访问密钥管理界面; 第一次运行obsutil后,工具会对SK进行加密以保护密钥安全。
访问OBS链接提示告警信息的原因和解决办法 原因 因为部分用户使用OBS桶时上传了包含色情、暴恐、涉政等违法违规内容,OBS和第三方平台(微信/支付宝/百度等)检测到后会封禁此资源。第三方平台在封禁此资源的同时,会将OBS域名列为不信任域名,导致其他合法使用OBS域名的用户也受到影响。 解决方案 需要
obsutil简介 obsutil是一款用于访问管理华为云对象存储服务(Object Storage Service,OBS)的命令行工具,您可以使用该工具对OBS进行常用的配置管理操作,如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。对于熟悉命令行程序的用户,obs
下载并安装obsfs obsfs工具于2024年7月1日下线,下线后OBS不再对此工具提供维护和客户支持服务,请使用s3fs将OBS对象桶挂载至Linux系统,给您带来不便敬请谅解。如有问题请提交工单寻求技术支持。 配置运行环境 obsfs的运行环境依赖openssl-devel