正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
限扩展,用户永远不必担心存储容量不够用。在OBS上可以存储任何类型和大小的非结构化数据,多级可靠性架构以及服务端加密、日志管理、权限控制等功能,保障存储在OBS上的数据高度稳定和安全。在成本方面,OBS即开即用,免去了自建存储服务器带来的资金、时间及人力成本的投入,后期的设备维护也全部交由OBS处理。
obs://bucket-test/test1.txt /test.txt 下载完成后,本地文件为: └── test.txt 递归下载bucket-test桶中的src2文件夹中的所有文件和文件夹(包括src2文件夹本身)至本地已存在的src1文件夹,且下载过程中不进行询问操作,下载命令为: ./obsutil
使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 出现此种现象有两种场景。 场景一:文件夹中存在部分大对象和大量小对象。对于大对象,下载速度很快;对于大量小对象,下载速度主要受TPS影响。如果下载到90%后都是小对象,此时下载速度一定程度上可能会降低。 场景二:文件夹中的对象
按https://桶名.域名/文件夹目录层级/对象名的方式进行拼接。 如果该对象存在于桶的根目录下,则链接地址将不需要有文件夹目录层级。 各区域对应的域名可以从这里的终端节点查看。 例如需访问区域为“华北-北京四”的桶名为“testbucket”中“test”文件夹下对象名为“test.
操作,如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。对于熟悉命令行程序的用户,obsutil能在执行批量处理、自动化任务场景能为您带来更优体验。 obsutil适用于Windows、Linux和macOS三大主流的操作系统,在各操作系统上推荐使用的版本如表1所
利用crontab配置定时任务 操作场景 示例场景:每天21:30进入/root目录下,执行增量上传/src/src1文件夹到obs://bucket-test桶内。 前提条件 必须在Linux操作系统下,并且正常开启了crond(定时任务计划)服务。如果是windows用户请参考配置windows定时任务。
上传对象的名称;下载操作需要标识该URL为下载请求,需要包含所下载对象的名称。 应用服务器作为可信设备,在应用服务器上存储访问密钥(AK/SK)。应用服务器在验证客户端身份合法之后,使用应用服务器保存的访问密钥(AK/SK)以及客户端访问的资源、操作类型生成预签名URL。举例:
在搜索框输入“folder-001/”,查看folder-001文件夹下的对象列表,可以看到该文件夹下有一个“222.txt”和“111.txt”。 图4 查看文件 单击”新建文件夹”,文件夹folder-002可以创建成功。 图5 创建文件夹成功 单击“上传对象”,文件333.txt上传成功。 图6 上传对象成功
架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI 生态中非常流行的开源深度学习框架P
化任务的不错选择。 obsutil工具指南 obsfs obsfs是OBS提供的一款基于FUSE的文件系统工具,主要用于将并行文件系统挂载至Linux系统,让用户能够在本地像操作文件系统一样直接使用OBS海量的存储空间。 obsfs工具指南 SDK SDK是对OBS服务提供的REST
在桶列表页面,单击已创建好的桶名称,进入“对象”页面。 单击搜索框上方的“上传对象”。 将本地文件拖拽至“上传对象”区域框内来添加对象。 也可以通过单击区域框内的“添加文件”,选择本地文件进行添加。 其他参数保持默认,单击“上传”。 右侧自动弹出任务中心页面,可在任务中心查看对象上
流式上传:使用包含“read”属性的可读对象作为对象的数据源。 文件上传:使用本地文件作为对象的数据源。 分段上传:对于较大文件上传,可以切分成段上传。 追加上传:对同一个对象追加数据内容。 断点续传上传:对分段上传的封装和加强,解决上传大文件时由于网络不稳定或程序崩溃导致上传失败的问题。 基
SDK提供的接口函数即可使用OBS管理数据。 本章节以Java SDK为例,上传一个名为“localfile”的文件至名为“examplebucket”的桶中,帮助您快速上手OBS的基础功能,包括创建桶、上传对象、下载对象、删除对象。 准备工作 使用Java SDK之前,您需要拥有一个华为账号并
com.obsclient; import java.text.DateFormat; import java.text.SimpleDateFormat; import java.util.Locale; import java.util.TimeZone; public class
的所有文件,使用“time1-*”,代表匹配最后修改时间time1之后的所有文件。 o 附加参数,批量生成时可选 生成结果清单文件的文件夹,命令执行完成后,会在该文件夹下生成结果清单文件(可能包含成功结果和失败结果两个文件),默认为运行obsutil命令的用户目录的子文件夹.obsutil_output。
基于表单上传 SDK支持上传0KB~5GB的对象。文件上传的内容大小不能超过5GB;当上传较大文件时,请使用分段上传,分段上传每段内容大小不能超过5GB;基于表单上传提供了基于浏览器表单上传对象的方式。 如果上传的对象权限设置为匿名用户读取权限,对象上传成功后,匿名用户可通过链接地址访
生成的对象如下: obs://bucket-dest/test/test1.txt 复制bucket-src的src2文件夹下的所有文件和文件夹(包括src2文件夹本身)至bucket-dest桶中,且复制过程中不进行询问操作,复制命令如下: ./obsutil cp obs://bucket-src/src2
对应的断点记录文件恢复任务。 r 附加参数,上传文件夹时必选 多文件上传时可选 递归上传文件夹中的所有文件和子文件夹。 f 附加参数,多文件/文件夹上传或上传文件夹时可选 强制操作,不进行询问提示。 j 附加参数,多文件/文件夹上传或上传文件夹时可选 上传文件夹时批量任务的最大并
Windows操作系统下,下载对象时发现本地和云上对象数量不一致 如果发现下载后本地文件和文件夹数量之和小于云上对象数量(OBS不区分文件或文件夹,统称为对象),并且当前操作系统是Windows,这个是因为Windows文件系统将文件和目录名称视为不区分大小写,FOO.txt和foo.txt将被视为相同文件;但是在OBS中是区分大小写的,FOO
解。 文件传输协议(File Transfer Protocol,FTP)当前广泛应用于个人和企业场景,而随着使用时间越来越长,用户越来越多,本地搭建的FTP服务器都会面临空间使用量增长过快,扩容成本高等问题,增加了IT运维管理的难度。 文件传输协议是用于在网络上进行文件传输的一