检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以CSV格式的表格文件导出,该CSV文件包含了本次查询结果的所有事件,且最多导出5000条信息。 单击按钮,可以获取到事件操作记录的最新信息。 在需要查看的事件左侧,单击展开该记录的详细信息。 在需要查看的记录右侧,单击“查看事件”,会弹出一个窗口显示该操作事件结构的详细信息。
如果您需要多用户协同操作管理您账号下的资源,为了避免共享您的密码/访问密钥,您可以通过IAM创建用户,并授予用户对应权限。这些用户可以使用特别的登录链接和自己单独的用户账号访问公有云,帮助您高效的管理资源,您还可以设置账号安全策略确保这些账号的安全,从而降低您的企业信息安全风险。 如果您已
Unauthorized 被请求的页面需要用户名和密码。 403 Forbidden 对被请求页面的访问被禁止。 404 Not Found 服务器无法找到被请求的页面。 405 Method Not Allowed 请求中指定的方法不被允许。 406 Not Acceptable 服务器生成的响应无法被客户端所接受。
所有可用的API版本列表对象。 version字段说明: 参数 参数类型 描述 id String 所使用版本的公用名称。 updated String 接口最后修改的UTC时间,格式为YYYY-MM-DDTHH:MM:SSZ status String API 版本的状态。其值为:
为文件系统创建普通用户可读写的子目录 方案概述 资源和成本规划 实施步骤
训练数据的读取要尽量读得快,减少计算对 I/O 的等待,而 Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间
SK)。 您需要规划文件系统所在的区域信息,并根据区域确定调用API的Endpoint,详细信息请参见地区和终端节点。 区域一旦确定,创建完成后无法修改。 在cn-north-4区域创建一个名为filesystem001的文件系统 示例中使用通用的Apache Http Client。
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS
如何提高SFS Turbo文件系统拷贝和删除操作的效率? Linux常用cp、rm、tar命令,默认属于串行操作,无法发挥网络文件系统的并发优势,需要用户并发执行以上命令,提升执行效率。 父主题: 其他类
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
删除与查询配额 必须要提供的1个参数: 配额路径:目录的绝对路径。 FAQ 为什么添加目录配额失败? 是否为空目录,是否使用了操作系统绝对路径而不是文件系统绝对路径,是否对同一目录重复设置,父级目录是否存在配额目录的配额低于配额设置值。 为什么在配额目录下新增了一个文件,查询配额时该目录容量没有变化?
Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux
-name=randread_test 其中,“/mnt/sfsturbo/fio_test_01 -name”为待测试的目标文件的挂载路径,需具体到文件名,即这里要测试的是“/mnt/sfsturbo”目录下的“fio_test_01 -name”文件,请根据实际填写。 fio结果: 单队列随机写 fio命令:
明。 须知: 本文提供的成本预估费用仅供参考,资源的实际费用以华为云管理控制台或价格计算器显示为准。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux
建多个子目录并挂载至主目录上,同时使普通用户拥有读写权限。 操作流程 为文件系统创建普通用户可读写的子目录的流程如图1所示。 图1 操作流程 父主题: 为文件系统创建普通用户可读写的子目录
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
费项”页签的资源设置到期转按需的操作。 图1 续费管理 设置包年/包月资源到期后转按需。 单个资源到期转按需:选择需要更改计费模式的文件系统,单击操作列“更多 > 到期转按需”。 图2 单个资源转按需 批量资源到期转按需:选择需要更改计费模式的文件系统,单击列表左上角的“到期转按需”。
修改文件系统绑定的安全组 功能介绍 修改SFS Turbo文件系统绑定的安全组。修改安全组为异步任务,可以通过“查询单个文件系统”返回的子状态字段“sub_status”来判断是否修改安全组状态,子状态为“232”即为修改安全组成功。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API