检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
“/etc/passwd-obsfs”。 obsfs --password_encryption -o ak=XXXXXXX -o sk=XXXXXXXXX -o passwd_file=/etc/passwd-obsfs 提示以下为成功：obsfs: set ak sk passwd_file
存储类别 存储类别概述 设置桶和对象的存储类别 转换桶和对象的存储类别
删除桶的默认服务端加密配置信息。 设置桶归档存储对象直读策略 开启或关闭桶的归档存储对象直读功能。开启后，归档存储对象不需要恢复便可以直接下载。 获取桶归档存储对象直读策略 获取指定桶的归档存储对象直读状态。 删除桶归档存储对象直读策略 删除指定桶的归档存储对象直读配置信息。 设置镜像回源规则
问题一： Q：创建桶时，数据冗余存储策略选择单AZ存储和多AZ存储有什么区别？ A：选择多AZ存储，数据将冗余存储至多个AZ中，可靠性更高。选择单AZ存储，数据仅存储在单个AZ中，但相比多AZ更加便宜。收费详情请参见产品价格详情。 问题二： Q：选择多AZ存储后，数据是以副本的形式分别
操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS Turbo文件系统，文件系统类型选择“HPC型”，操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶，存储类别为“标准存储”，桶策略为“私有”，操作指导请参考创建OBS桶。
Turbo容量及性能扩容 当SFS Turbo存储空间不足时，您可以对SFS Turbo存储空间进行容量扩容。 SFS Turbo HPC型是按每TB单位容量来提供一定的带宽吞吐，因此当SFS Turbo HPC性能不足时，需要通过容量扩容来提高性能吞吐。 登录SFS管理控制台，在左侧导航窗格中选择“SFS
OBS提供高并发、高可靠、低时延、低成本的海量存储系统，结合计算服务可快速搭建高扩展性、低成本、高可用的基因测序平台。 客户数据中心测序仪上的数据通过云专线自动快速上传到华为云，通过由ECS、CCE、MRS等服务搭建的计算集群进行分析计算，分析计算产生的数据和计算结果存储到OBS中，其中上传到华为云的基因数据自动
API 桶的基础操作 桶的高级配置 静态网站托管 对象操作 多段操作 服务端加密 Data+
针对AI训练场景中面临的问题，华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案。华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动，您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问，并将生成的结果
考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后，可以使用数据预热功能，以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中，数据预热功能的具体操作请参考创建SFS
”。在“域名信息”下查看桶的访问域名。 图1 桶的访问域名 在微信小程序服务器域名配置中指定桶域名为合法域名。详细配置指导请在小程序客服搜索“服务器域名配置”，配置信息如表2所示。 图2 微信小程序配置服务器信息 表2 微信小程序配置建议 参数 配置建议 request合法域名 桶的访问域名
吸引力的替代品。OBS即一种云存储服务，它提供海量、可弹性扩展的存储服务。OBS所有的业务、存储节点采用分布集群方式工作使得OBS的可扩展性更高。提供数据多份冗余、一致性检查等功能使得存储在OBS中的数据更加安全、可靠。OBS按照使用量付费，使得成本易于预测。 Commvault、爱数云备份服务（AnyBackup
OBS之间数据迁移 本教程介绍如何通过对象存储迁移服务OMS实现对象存储服务OBS之间跨账号、跨区域、以及同区域内的数据迁移。 跨账号迁移：不同的华为云账号之间桶数据迁移。 跨区域迁移：不同区域之间的桶数据迁移。 同区域迁移：同区域内的桶数据迁移。 什么是对象存储迁移服务 对象存储迁移服务（Object
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后，训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
设置桶和对象的存储类别 操作场景 本章节指导用户在创建桶和上传对象时，初次设置桶和对象的存储类别。如果桶和对象已有存储类别，而您想要修改其存储类别，请查看转换桶和对象的存储类别。 桶存储类别和对象存储类别 创建桶时支持设置桶存储类别，也可在桶创建完成后修改桶存储类别。 上传对象时
选择“关联sfsturbo”。 在“关联sfsturbo”弹窗中，选择创建资源中创建的SFS Turbo HPC型文件系统。 图2 关联SFS Turbo 选择完成后，单击“确定”创建关联。 使用过程中请不要解除关联，解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”，进入“训练作业”列表。 单击右上角的“创建训练作业”，进入“创建训练作业”页面，在该页面填写训练作业相关参数信息。
创建桶 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient->createBucket创建桶。以下代码展示如何新建一个桶： // 引入依赖库 require
HDFS协议：Hadoop中定义了HDFS协议（通过FileSystem抽象类），其他各类存储系统均可以实现HDFS协议，例如Hadoop中内置的HDFS服务，华为云的对象存储服务OBS。 约束与限制 不支持以下HDFS语义： Lease Symbolic link operations
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
