检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS与自建存储服务器对比 对比项 OBS 自建存储服务器 数据存储量 提供海量的存储服务,在全球部署着N个数据中心,所有业务、存储节点采用分布式集群方式部署,各节点、集群都可以独立扩容,用户永远不必担心存储容量不够。 数据存储量受限于搭建存储服务器时使用的硬件设备,存储量不够时需要重新购买存储硬盘,进行人工扩容。
内多段任务、桶的元数据、桶的多版本。 如果有对象的读权限,则可以获取该对象内容和元数据。 PERMISSION_WRITE WRITE 写权限。 如果有桶的写权限,则可以上传、覆盖和删除该桶内任何对象和段。 此权限在对象上不适用。 PERMISSION_READ_ACP READ_ACP
Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据
权限和授权项 权限及授权项说明 桶相关授权项 对象相关授权项
S加密。 SSE-OBS方式,OBS使用服务自身提供的密钥进行服务端加密。与SSE-KMS的区别在于SSE-OBS是OBS管理密钥,而非KMS。 SSE-C方式,OBS使用用户提供的密钥和密钥的MD5值进行服务端加密。 使用服务端加密,返回的ETag值不是对象的MD5值。无论是否
下载和安装obsutil 下载地址 针对不同操作系统,obsutil的下载地址如表1所示。 表1 下载地址 操作系统 软件包下载地址 SHA256校验和 Windows 64位 obsutil_windows64 46440850e63600b31888f2c7c8e79db99
桶策略参数说明。其中资源为已选择的对象,系统自动配置。自定义创建的方法,可参见自定义创建桶策略(可视化视图),与自定义桶策略相比有如下两点区别: 资源不需要指定,系统默认指定为已选择对象。 配置的动作仅支持对象相关动作。 父主题: 权限控制
"https://your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量AccessKeyID和SecretAccessKey。
OBS如何实现备份和容灾? OBS通过如下方式实现备份和容灾: 创建桶时开启多AZ属性,用户数据冗余存储至多个AZ中。 通过跨区复制功能。用户可以将一个区域的桶中数据复制到另一个区域,实现云端备份。 将OBS中的数据下载到本地,本地备份数据。 父主题: 数据安全、迁移和备份
桶策略和ACL的关系 桶ACL和桶策略的映射关系 桶ACL用于授予桶基本的读写权限,桶策略高级设置中支持更多在桶上可以执行的动作。桶ACL是对桶策略的补充,除了限定的只能由桶ACL授予日志投递用户组权限外,更多时候桶策略可以替代桶ACL管理桶的访问权限。桶ACL访问权限和桶策略动作的映射关系如表1所示。
存储量、归档存储量和深度归档存储量。 流量 总下载流量:当月时间,桶的所有下载流量。包括内网流量和外网流量。 内网下载流量:当月时间,桶的所有内网下载流量。 外网下载流量:当月时间,桶的所有外网下载流量。 总上传流量:当月时间,桶的所有上传流量。包括内网流量和外网流量。 内网上传流量:当月时间,桶的所有内网上传流量。
SFS Turbo进行空间扩容。详情可参见SFS Turbo监控指标说明和创建告警规则。 SFS Turbo性能监控 您可以在CES云监控服务上监控和SFS Turbo文件系统的性能使用情况。当AI算力集群规模变大,大模型参数量变大,导致Checkpoint读加载时间变长时,或训
储服务OBS之间进行灵活的数据迁移。 使用对象存储迁移服务,您只需在控制台填写源端OBS数据信息和目的端OBS数据信息,并创建迁移任务或创建迁移任务组即可,迁移任务与迁移任务组的区别请参见迁移任务与迁移任务组的适用场景。 对象存储迁移服务(OMS)处于免费期,免费期结束后服务将根
Z存储和多AZ存储。了解单AZ和多AZ的区别 存储时间按照数据在OBS中存储的实际天数计算。 存储单个对象小于64KB按64KB计算,大于64KB按实际大小计算。 按需计费 包年包月 低频访问存储数据容量 OBS中存储的低频访问存储数据所占用的存储空间容量,区分单AZ存储和多AZ存储。了解单AZ和多AZ的区别
OBS的持久性和可用性如何? OBS通过存储介质的慢盘/坏道检测、AZ内设备和数据冗余、AZ之间数据容灾、跨区域复制等技术方案,提供针对介质、服务器、机柜、数据中心和区域的多级可靠性保障。其数据持久性高达99.9999999999%(12个9),可用性高达99.995%,远高于传统架构。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
在哪里可以获取AK和SK? IAM用户如果希望使用AK/SK访问OBS,必须要账号为其开启“编程访问”。开启方法请参见查看或修改IAM用户信息。 在使用Browser+访问OBS时,需要使用AK/SK进行签名验证。AK/SK获取步骤如下: 登录控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。
配置和查看对象元数据 使用场景 元数据(Metadata)为描述对象属性的信息,是一组名称和值的配对,用作对象管理的一部分。OBS 中有两种元数据:系统定义的对象元数据和对象自定义元数据介绍。 您可以在上传对象时在OBS中设置对象元数据,也可以在上传对象后修改元数据。 元数据介绍
在桶列表复制要查看账单的桶的桶名称。 在顶部导航栏右侧单击“费用与成本”,进入费用中心“总览”界面。 在左侧导航栏单击“账单管理 > 流水和明细账单”,进入“流水和明细账单”界面。 单击“明细账单”页签,可以看到所有的消费明细。 选择需要查看的时间,统计维度默认“按使用量”。 在筛选条件中选
N节点,有效加速实现静态资源访问和下载加速。 内容审核-图片审核 该解决方案可以自动识别图片中涉黄、广告、涉政涉暴、涉政敏感人物等违规内容,降低业务违规风险。 语音识别解决方案 该方案支持中文普通话以及带方言口音的普通话识别以及方言(四川话、粤语和上海话)的识别。 无服务器图片生成缩略图