检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
无需部署外部迁移工具 训练任务开始前将数据从OBS导入到SFS Turbo,训练过程中写入到SFS Turbo的Checkpoint数据异步导出到OBS,均不占用训练任务时长。 SFS Turbo和OBS存储服务之间数据直接导入导出,无需部署外部数据拷贝机器及工具。 4 冷热数据自动流动,降低存储成本
器。 图4 选择NFS客户端 修改NFS传输协议。 选择“控制面板 > 系统和安全 > 管理工具 > Network File System 服务(NFS)”,如图5所示。 图5 管理工具 右键单击“NFS客户端”选择“属性”,修改传输协议为“TCP协议”,同时选中“使用硬装载”,如图6和图7所示。
可单击“查看虚拟私有云”查看已有VPC的详细信息或申请新的VPC。 了解详细步骤请参考创建文件系统。 Step3 挂载文件系统 登录ECS。可以通过管理控制台或跨平台远程访问工具(例如PuTTY)登录已购买的ECS。 图3 登录ECS 查看ECS是否安装NFS客户端。执行命令:rpm -qa|grep nfs。 图4
件。如果要导出整个联动目录到OBS桶,则不用填写。 单击“确定”,提交导出任务。 数据导出功能会启动异步任务对导出目录内的文件进行扫描并导出,如果扫描时发现文件10s内发生过更新,则本次任务不会导出该文件。 对于一个文件的所有修改,导出到OBS桶之后,下次再提交该文件的导出任务时
B文件系统。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v1/{project_id}/sfs-turbo/shares/{share_id} 表1 路径参数
情况”接口。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v1/{project_id}/sfs-turbo/shares/{share_id}/
se;配置为True后,当主节点写内存缓存时,会同步写backup节点的内存缓存。 在实际训练代码(以pretrain_gpt.py为例)里,import一行代码就可完成所有适配。代码示例如下所示: from megatron.training.arguments import
个。查询超大目录耗时较久,请不要重复提交。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/dir-usage
情况”接口。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/{feature}/tasks
故障影响面。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/ldap
故障影响面。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/ldap
情况”接口。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/
情况”接口。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/{feature}/tasks
base_dn和url不为空 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/ldap
故障影响面。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/ldap
消息体具体内容需要根据具体接口而定。 发起请求 共有两种方式可以基于已构建好的请求消息发起请求,分别为: cURL cURL是一个命令行工具,用来执行各种URL操作和信息传输。cURL充当的是HTTP客户端,可以发送HTTP请求给服务端,并接收响应消息。cURL适用于接口调试。
Interface,POSIX),是IEEE为要在各种UNIX操作系统上运行软件而定义API的一系列互相关联的标准的总称。POSIX标准意在期望获得源代码级别的软件可移植性。也就是为一个POSIX兼容的操作系统编写的程序,可以在任何其它的POSIX操作系统上编译执行。 DHCP 动态主机配置协议(Dynamic
目业务中,让各责任组织及时了解各自的成本情况。 华为云成本中心支持通过多种不同的方式对成本进行归集和重新分配,您可以根据需要选择合适的分配工具。 通过关联账号进行成本分配 企业主客户可以使用关联账号对子客户的成本进行归集,从而对子账号进行财务管理。详细介绍请参见通过关联账号维度查看成本分配。
Turbo SFS Turbo文件系统更适合海量小文件业务。 典型应用场景: SFS Turbo标准型:代码存储、日志存储、Web服务、虚拟桌面 SFS Turbo标准型-增强版:代码存储、文件共享、企业办公OA、日志存储 SFS Turbo性能型:高性能网站、文件共享、内容管理 SFS
SFS根据应用场景,提供了Header中携带签名的签名计算方式。 以Header中携带签名为例,用户签名验证流程如表1所示。Header中携带签名方法的具体参数说明及代码示例,请参见Header中携带签名。 表1 SFS签名计算和验证步骤 步骤 示例 签名计算 1. 构造HTTP消息 PUT /HTTP/1