检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS单AZ和多AZ有什么区别？ 问题一： Q：创建桶时，数据冗余存储策略选择单AZ存储和多AZ存储有什么区别？ A：选择多AZ存储，数据将冗余存储至多个AZ中，可靠性更高。选择单AZ存储，数据仅存储在单个AZ中，但相比多AZ更加便宜。收费详情请参见产品价格详情。 问题二： Q：
、基因测序和智能视频监控等。 如高性能计算、企业核心集群应用、企业应用系统和开发测试等。 说明： 高性能计算：主要是高速率、高IOPS的需求，用于作为高性能存储，比如工业设计、能源勘探这些。 如高性能计算、媒体处理、文件共享和内容管理和Web服务等。 说明： 高性能计算：主要是高
Service，OBS）提供的一种经过优化的高性能文件语义系统，提供毫秒级别访问时延，TB/s级别带宽和百万级别的IOPS，能够快速处理高性能计算（HPC）工作负载，主要应用于大数据场景。 并行文件系统的详细介绍和使用说明，请参见并行文件系统。 父主题： 基本概念
签名计算工具 OBS提供可视化签名计算工具，帮助您轻松完成签名计算。 表1 签名计算工具 签名计算方式 签名计算工具获取地址 Header中携带签名 可视化签名计算工具 URL中携带签名 可视化签名计算工具 工具使用步骤 本节介绍如何使用工具计算签名 使用工具计算Header中携带的签名
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象，您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台，在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中，单击
区分单AZ存储和多AZ存储。了解单AZ和多AZ的区别 存储时间按照数据在OBS中存储的实际天数计算。 存储单个对象小于64KB按64KB计算，大于64KB按实际大小计算。 低频访问存储数据容量 OBS中存储的低频访问存储数据所占用的存储空间容量，区分单AZ存储和多AZ存储。了解单AZ和多AZ的区别
myhuaweicloud.com，则必须携带此参数。 取值范围： 当前有效的OBS区域和终端节点的更多信息，请参考地区和终端节点。终端节点即调用API的请求地址，不同服务不同区域的终端节点不同，您可以向企业管理员获取区域和终端节点信息。 默认取值： 终端节点为obs.myhuaweicloud
资源和成本规划 本节介绍最佳实践中资源规划情况，包含以下内容： 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS：存放训练数据集、预训练模型等数据资源的桶，桶存储类别为“标准存储”，桶策略为“私有”。 SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容
Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网
的海量存储系统，结合计算服务可快速搭建高扩展性、低成本、高可用的基因测序平台。 客户数据中心测序仪上的数据通过云专线自动快速上传到华为云，通过由ECS、CCE、MRS等服务搭建的计算集群进行分析计算，分析计算产生的数据和计算结果存储到OBS中，其中上传到华为云的基因数据自动转为低
上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案，您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS，更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后，可以使用数据预热功能，以减少后续训练首次访问数据耗时。
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。
逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前，华为云已在全球多个地域开放云服务，您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。
两种方式单次上传对象大小范围均为[0, 5GB]，如果需要上传超过5GB的大文件，需要通过多段上传实现。 关于PUT和POST上传更详细的API信息，请参见API参考PUT上传和POST上传。 父主题： API和SDK等开发者相关
Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，TB/s级别带宽和百万级别的IOPS，能够快速处理高性能计算（HPC）工作负载。 创建并行文件系统(Harmony SDK) 列举并行文件系统(Harmony SDK) 列举并行文件系统内对象(Harmony
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗？ 当数据规模较小，不存在冷热数据分级降本诉求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS
以上传对象为例，对一个对象或者段的每一次操作都会计算一次请求次数。假设上传一个拥有100个对象的文件夹： 在都使用PutObject方式上传的情况下，会发送100次PUT请求，计算100次请求次数。 如果其中有一些大对象需要分段上传，则会根据分成的段数额外计算分段上传的请求次数，此外还会有初始
内多段任务、桶的元数据、桶的多版本。 如果有对象的读权限，则可以获取该对象内容和元数据。 PERMISSION_WRITE WRITE 写权限。 如果有桶的写权限，则可以上传、覆盖和删除该桶内任何对象和段。 此权限在对象上不适用。 PERMISSION_READ_ACP READ_ACP
Turbo存储空间、或缩短冷数据淘汰时间加速冷数据淘汰、或对SFS Turbo进行空间扩容。详情可参见SFS Turbo监控指标说明和创建告警规则。 SFS Turbo性能监控 您可以在CES云监控服务上监控和SFS Turbo文件系统的性能使用情况。当AI算力集群规模变大，大模型参数量变大，导致Checkpo
Turbo：增加挂载配置，选择创建资源中创建的SFS Turbo HPC型文件系统。 图1 创建训练作业参数 单击“提交”，完成训练作业的创建。 训练作业创建完成后，后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间，根据您的训练业务逻辑和选择的资源不同，训练时长将持续几十
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
