检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
[-cpd=xxx] [-clear] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil cp -recover=xxx [-dryRun] [-tempFileDir=xxx] [-f] [-u]
I应用场景越来越多,有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源,包括高性能算力,高速存储和网络带宽等基础设施,即“大算力、大存力、大运力”的AI基础大设施底座,让算力发展不要偏斜。 从过去的经典AI,到今天人人谈论的大模型,自动驾驶
SDK) 对于较大文件上传,可以切分成段上传。用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 分段上传分为如下3个步骤: 初始化分段上传任务。 逐个或并行上传段。
清理碎片 使用场景 桶中不完整的数据称之为碎片。OBS采用分段上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 上传失败而产生的碎片会存
同一个桶中存储的对象名是唯一的。 在桶未开启多版本的情况下,如果在指定的桶内已经有相同的对象键值的对象,用户上传的新对象会覆盖原来的对象;为了确保数据在传输过程中没有遭到破坏,用户可以在表单域中加入Content-MD5参数。在这种情况下,OBS收到上传的对象后,会对对象进行MD5校验,如果不
s3fs s3fs是一款基于用户空间文件系统(Filesystem in Userspace,简称FUSE)的文件系统工具,支持您在Linux系统中,将OBS对象桶挂载到本地文件系统,让您能够像操作本地文件一样操作对象,实现数据的共享。 适用于原本使用本地文件系统存储数据的用户
[-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil sync obs://bucket[/key] folder_url [-tempFileDir=xxx]
求数据,数据请求过程如图1所示。OBS能够很好的解决本地存储不够用的难题,但一般情况下文件只存储在一个区域,不同区域的用户访问OBS的响应速度存在差异。在需要频繁访问的场景下,直接访问OBS来获取相应文件,还会消耗大量的流量费用。 图1 从OBS获取数据过程 方案说明 OBS提供
分段上传:对于较大文件上传,可以切分成段上传。 追加上传:对同一个对象追加数据内容。 断点续传上传:对分段上传的封装和加强,解决上传大文件时由于网络不稳定或程序崩溃导致上传失败的问题。 基于表单上传:使用HTML表单形式上传对象到指定桶中。 SDK支持上传0KB~5GB的对象。流式上传
obsutil ls obs://bucketName -format=default -limit=0 > D:/result.txt Mac/Linux操作系统 ./obsutil ls obs://bucketName -format=default -limit=0 > /root/result
[-cpd=xxx] [-clear] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil cp -recover=xxx [-arcDir=xxx] [-dryRun] [-f] [-u] [-vlength]
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。
obs://bucket [-f] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil rm obs://bucket [-f] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx]
putObject("bucketname", "objectname", new ByteArrayInputStream(content.getBytes())); 上传网络流 // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示
[-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 同步上传文件 ./obsutil sync file_url obs://bucket[/key] [-arcDir=xxx]
深度归档存储(受限公测) 适用于长期不访问(平均几年访问一次)数据的业务场景 代码示例一:上传网络流 流式上传使用stream.Readable作为对象的数据源。以下代码展示了如何通过网络流上传对象至名为examplebucket桶中。 1 2 3 4 5 6 7 8
[-cpd=xxx] [-clear] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil cp -recover=xxx [-dryRun] [-f] [-u] [-crr] [-vlength]
[-o=xxx] [-config=xxx] [-endpoint=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 生成单个对象的下载链接 ./obsutil sign obs://bucket/key [-e=300] [-config=xxx]
Workshop,DEW) 服务端加密 通过CDN服务为OBS桶绑定的自定义域名加速。 CDN(Content Delivery Network,内容分发网络) 自定义域名绑定 通过CDN加速访问OBS 通过DNS服务为托管在OBS上的静态网站和OBS桶绑定的自定义域名做域名解析。 云解析服务(Domain
暂不支持配置桶默认存储类型 不支持深度归档,支持标准、低频和归档 暂不支持专属对象存储场景 暂不支持DWR数据工坊对接 并行文件系统可以挂载至多个Linux服务器实现并行读,但不建议使用此方法并发写。 性能限制 并行文件系统每TB默认提供最大带宽10MB/s。 命名限制 对并行文件系统的文件