检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Checkpoint文件过大、导出速度过慢,可提交工单申请调大OBS服务的写入带宽。 父主题: 基本配置
OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。
件系统的数据组织方式与HDFS基本一致,使用HDFS作为数据访问层的大数据分析框架可以通过OBSFileSystem插件(OBSA-HDFS)访问并行文件系统数据。 并行文件系统与OBS桶的功能差异详见支持的API列表。 应用场景 基于对象存储服务作为统一数据湖存储的大数据场景 并行文件系统使用方式
为桶添加标签后,该桶上所有请求产生的计费话单里都会带上这些标签,从而可以针对话单报表做分类筛选,进行更详细的成本分析。例如:某个应用程序在运行过程会往桶里上传数据,我们可以用应用名称作为标签,设置到被使用的桶上。在分析话单时,就可以通过应用名的标签来分析此应用的成本。 要正确执行此操作,需要确保执行
会下发获取桶存量信息、获取桶元数据等请求。 示例三 以下载对象为例,对一个对象的每一次下载操作都会计算一次请求次数。假设下载100个对象: 针对标准存储对象和低频访问存储对象,会发送100次GET类请求,计算100次请求次数。 针对未开启归档数据直读功能的归档存储对象,需要先恢
使用账号登录时,界面提示“没有权限登录” 在使用OBS Browser+过程中,如果使用账号登录时提示“没有权限登录”,原因是统一身份认证服务平台认证失败。 可按照以下步骤排查解决问题: 联系当前租户的安全管理员,登录统一身份认证服务控制台。 查看当前AK所属用户是否被禁用。 查看当
出现此种现象有两种场景。 场景一:文件夹中存在部分大对象和大量小对象。对于大对象,下载速度很快;对于大量小对象,下载速度主要受TPS影响。如果下载到90%后都是小对象,此时下载速度一定程度上可能会降低。 场景二:文件夹中的对象大小均匀。可能原因为数据已经下载完成,但是在写入磁盘时产生排队现
重复恢复归档存储数据时在延长恢复有效期的同时,也将会对恢复时产生的恢复费用进行重复收取。产生的标准存储类别的对象副本有效期将会延长,并且收取延长时间段产生的标准存储副本费用。 背景信息 归档存储是一种很少访问(平均一年访问一次)、但安全、持久且成本极低的存储服务,适用于数据归档和长期备
"savepath"; if (!File.Exists(dest)) { // 将对象的数据流写入文件中 response.WriteResponseStreamToFile(dest); }
您可以使用多种方式配置桶清单,详情请参见桶清单。 清单文件中包含的内容 清单文件中的内容由设置的清单配置而定,所有可能的字段见表1。 表1 清单中列出的对象元数据 元数据 说明 Bucket 源桶的桶名。 Key 键值,即对象的名称,一个桶里的每个对象拥有唯一的对象键值。(清单文件中的对象名采用UTF-8的URL编码,需解码后才能使用)。
需要使用IAM增加Tenant Administrator权限后才能设置、获取、删除在线解压策略。 在线解压源需使用IAM创建云服务委托,委托OBS获取桶内数据,上传数据到桶内。委托需要给OBS服务授予obs:object:PutObject、obs:object:GetObject、o
KMS云服务托管的用户主密钥并没有直接用来加密数据,系统先是从用户主密钥中派生出数据加密密钥和数据加密密钥的密文,然后使用数据加密密钥来加密OBS对象,加密完成后,OBS存储数据加密密钥的密文和对象密文。 图2 SSE-KMS解密流程 解密对象时,如图2所示,KMS云服务先解密数
文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以
具体方法请参见如何判断是否内网访问OBS? 下载匹配云服务器架构的obsutil 单击管理控制台左上角的,选择区域。 单击“”,选择“计算 > 弹性云服务器 ECS”。 系统进入弹性云服务器列表页,您可以在本页面查看您已购买的弹性云服务器,以及弹性云服务器的规格,如果规格有前缀“k”则为ARM架构,此时您应该下载Linux
待上传对象的自定义元数据。OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据,以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回的消息头中出现。 约束限制: 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为:每个键和值的UTF-8
随机写或追加写文件场景需要重写整个文件,会有带宽浪费。 由于网络延迟,元数据操作(如列举目录)性能较差。 不支持文件或目录的原子性重命名。 支持挂载到多台云服务器,但数据一致性需由您自行维护,避免出现多台云服务器同时对一个文件并发写入的情况。 不支持硬链接。 s3fs与存储服务端交
在ECS上通过内网访问OBS方案概述 应用场景 某企业基于弹性云服务器(Elastic Cloud Server,ECS)构建好基础的业务后,随着数据增长,硬盘已无法满足大量的图片、视频等数据存取需求。了解到华为云提供有海量、弹性的云存储服务OBS后,决定将OBS作为数据存储资源池,以减轻服务器负担。 在E
单击“去支付”,并在支付页面完成付款。 示例 以下示例中出现的费用价格仅供参考,实际价格请参见产品价格详情中“对象存储服务”的内容。 示例一:某用户的标准存储单AZ桶中的数据为2.8TB,于3月18日购买了容量为2TB的标准存储单AZ资源包A,又于3月25日购买了容量为1TB的资源包B,则3月18日-4月18日
)和中划线(-)开头或结尾。 禁止使用IP地址。 数据冗余存储策略 多AZ存储 多AZ存储:数据存储至同区域内的多个可用区(AZ),可靠性更高,同时存储成本相对更高。 单AZ存储:数据仅存储在单个可用区(AZ),成本更低。 桶创建成功后,不支持更改数据冗余存储策略。 多AZ存储桶不支持为桶设置归档存储类别和深度归档存储类别。
png),水印图片置于右下角,透明度为90,水平边距和垂直边距默认值都为10。在控制台上的具体操作步骤如下: 在OBS管理控制台首页,单击目标桶名称,在左侧导航栏中选择“数据处理 > 图片处理”。 单击“创建”,进入样式编辑界面。 在编辑页面,输入“样式名称”,“编辑模式”选择“图形界面模式”,并选择“水印设置”。