检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
listFileSystem() { String httpMethod = "GET"; String date = DateUtils.formatDate(System.currentTimeMillis()); /** 根据请求计算签名
"; String date = DateUtils.formatDate(System.currentTimeMillis()); String contentType = "application/xml"; /** 根据请求计算签名
Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头中,从而通过身份认证,获得操作API的权限。Token可通过调用获取用户Token接口获取。
在计算机“运行”中输入regedit,打开注册表编辑器。 进入HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\ClientForNFS\CurrentVersion\Default目录。如图10所示。
由于cURL无法计算签名,使用cURL时仅支持访问匿名的公共SFS资源。 编码 通过编码调用接口,组装请求消息,并发送处理请求消息。可以自行编码实现。 父主题: 如何调用通用文件系统API
公共成本是指多个部门共享的计算、网络、存储或资源包产生的云成本,或无法直接通过企业项目、成本标签分配的云成本。这些成本不能直接归属于单一所有者,因此不能直接归属到某一类别。使用拆分规则,可以在各团队或业务部门之间公平地分配这些成本。详细介绍请参见使用成本单元查看成本分配。
监控安全风险 SFS提供基于云监控服务CES的资源监控能力,帮助用户监控账号下的文件存储系统的使用情况,执行自动实时监控、告警和通知操作。用户可以实时监控弹性文件服务的客户端连接数、带宽、IOPS、容量等信息。 关于SFS支持的监控指标,以及如何创建监控告警规则等内容,请参见监控。
提升Linux操作系统单客户端访问SFS Turbo的性能 操作场景 nconnect是Linux操作系统下NFS客户端的挂载参数,开启后支持NFS客户端与服务端之间建立多条TCP连接来提升吞吐性能。 前提条件 Linux内核为5.3及以上版本。 当客户端与服务端之间网络延迟较高(
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态
Linux内核5.4版本之后客户端的NFSv3文件系统顺序读业务场景性能不符合预期,如何处理? 问题描述 在Linux内核5.4版本之后的客户端上挂载NFSv3协议的文件系统,使用cp或dd等方式触发顺序读业务场景,读带宽与每秒请求数明显不符合预期。 问题原因 预读机制:访问内存的速度比访问硬盘或者网络存储快很多
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满,会影响业务运行,您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况,并创建告警规则,当容量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时
容量调整 操作场景 当用户认为文件系统的容量不足或太大时,用户可以通过执行扩容或缩容操作来增加或者缩减文件系统的容量。 约束与限制 SFS容量型文件系统支持在线容量调整,容量调整时对业务无任何影响。并且扩容时文件系统必须处于运行中状态。 SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败
弹性文件服务监控指标说明 功能说明 本节定义了弹性文件服务上报用户请求次数的监控指标的命名空间,监控指标列表和维度定义,用户可以通过管理控制台或云监控提供的API接口来查询监控指标。 命名空间 SYS.SFS 监控指标 表1 SFS容量型(已售罄)支持的监控指标 指标ID 指标名称
SFS Turbo监控指标说明 功能说明 本节定义了弹性文件服务Turbo上报云监控的监控指标的命名空间,监控指标列表和维度定义,用户可以通过管理控制台或云监控提供的API接口来查询监控指标。 命名空间 SYS.EFS 监控指标 表1 弹性文件服务Turbo支持的监控指标 指标ID
通用文件系统在配置VPC前,需要先完成创建VPC终端节点,建立计算资源与弹性文件服务的通信后,再进行配置。 通用文件系统新配置的VPC,均需要创建对应的VPC终端节点,否则会导致文件系统挂载失败。 SFS容量型操作步骤 登录弹性文件服务管理控制台。
扩容文件系统 功能介绍 扩容文件系统。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/sfs-turbo/shares/{
与其他云服务的关系 弹性文件服务与其他云服务的关系如图1所示。 图1 弹性文件服务与其他服务的关系示意图 弹性文件服务与其他服务的关系 表1 与其他云服务的关系 功能 相关服务 位置 云服务器和文件系统归属于同一项目下,用于挂载共享路径实现数据共享。 弹性云服务器(Elastic
文件系统性能较差 问题描述 向文件系统中写入数据时读写较慢,文件系统的性能未达到预期,或传输文件较慢等。 排查思路 以下排查思路根据原因的出现概率进行排序,建议您从高频率原因往低频率原因排查,从而帮助您快速找到问题的原因。 如果解决完某个可能原因仍未解决问题,请继续排查其他可能原因
通过AITurbo加速保存与加载checkpoint 背景 当前,大模型训练往往使用成百上千加速卡训练几周到几个月不等。在训练过程中,故障导致训练中断经常发生。训练程序一般采用周期checkpoint方案来将训练状态持久化到存储,当发生故障时,训练程序能恢复到故障之前的模型和优化器的状态继续训练
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储