检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GPU A系列裸金属服务器节点内如何进行NVLINK带宽性能测试方法？ 场景描述 本文指导如何进行节点内NVLINK带宽性能测试，适用的环境为：Ant8或者Ant1 GPU裸金属服务器， 且服务器中已经安装相关GPU驱动软件，以及Pytorch2.0。 GPU A系列裸金属服务器
使用边缘节点部署边缘服务能否使用http接口协议？ 系统默认使用https。如果您想使用http，可以采取以下两种方式： 方式一：在部署边缘服务时添加如下环境变量： MODELARTS_SSL_ENABLED = false 图1 添加环境变量 方式二：在使用自定义镜像导入模型时
该示例中Workflow包含了五个节点（节点相关定义已省略），在policy中定义了两个预置场景：模型训练和服务部署，工作流发布至运行态后，部分运行的开关默认关闭，节点全部运行。用户可在权限管理页面打开开关，选择指定的场景进行运行。 部分运行能力支持同一个节点被定义在不同的运行场景中，但
properties 节点的属性信息 否 dict policy 节点的执行策略，主要包含节点调度运行的时间间隔、节点执行的超时时间、以及节点执行是否跳过的相关配置 否 StepPolicy depend_steps 依赖节点的列表，该字段决定了DAG的结构，也决定了节点执行的顺序 否 Step或者list[Step]
在左侧菜单栏中选择“AI专属资源池 > 弹性节点 Server”。 执行如下操作，启动或停止弹性节点Server。 启动弹性节点Server：单击“操作”列的“启动”。只有处于“已停止/停止失败/启动失败”状态的弹性节点Server可以执行启动操作。 停止弹性节点Server：单击“操作”列的
Cluster节点：节点是容器集群组成的基本元素，您可以对资源池内单节点进行替换、删除、重置等操作。 管理Lite Cluster节点池：为帮助您更好地管理Kubernetes集群内的节点，ModelArts支持通过节点池来管理节点。节点池是集群中具有相同配置的一组节点，一个节点池包含一
Workflow多分支运行介绍 当前支持两种方式实现多分支的能力，条件节点只支持双分支的选择执行，局限性较大，推荐使用配置节点参数控制分支执行的方式，可以在不添加新节点的情况下完全覆盖ConditionStep的能力，使用上更灵活。 构建条件节点控制分支执行主要用于执行流程的条件分支选择，可以简单
Workflow的编排主要在于每个节点的定义，您可以参考创建Workflow节点章节，按照自己的场景需求选择相应的代码示例模板进行修改。编排过程主要分为以下几个步骤。 梳理场景，了解预置Step的功能，确定最终的DAG结构。 单节点功能，如训练、推理等在ModelArts相应服务中调试通过。 根据节点功能选择相应的代码模板，进行内容的补充。
NPU推理指导（6.3.906） ComfyUI是一款基于节点工作流的Stable Diffusion操作界面。通过将Stable Diffusion的流程巧妙分解成各个节点，成功实现了工作流的精确定制和可靠复现。每一个节点都有特定的功能，可以通过调整节点连接达到不同的出图效果。在图像生成方面，它
Cluster适配NPU推理指导（6.3.906） ComfyUI是一款基于节点工作流的Stable Diffusion操作界面。通过将Stable Diffusion的流程巧妙分解成各个节点，成功实现了工作流的精确定制和可靠复现。每一个节点都有特定的功能，可以通过调整节点连接达到不同的出图效果。在图像生成方面，它
NPU推理指导（6.3.904） ComfyUI是一款基于节点工作流的Stable Diffusion操作界面。通过将Stable Diffusion的流程巧妙分解成各个节点，成功实现了工作流的精确定制和可靠复现。每一个节点都有特定的功能，可以通过调整节点连接达到不同的出图效果。在图像生成方面，它
服务部署、启动、升级和修改时，拉取镜像失败如何处理？ 原因分析 节点磁盘不足，镜像大小过大。 解决方法 首先考虑优化镜像，减小节点磁盘的占用。 优化镜像无法解决问题，请联系系统管理员处理。 父主题： 服务部署
per_device_train_batch_size=1 2*节点 & 8*Ascend 4*节点 & 8*Ascend cutoff_len=8192 lora sft per_device_train_batch_size=1 2*节点 & 8*Ascend 8*节点 & 8*Ascend 7B cutoff_len=4096
保存ckpt时超时报错 在多节点集群训练完成后，只有部分节点会保存权重，而其他节点会一直在等待通信。当等待时间超过36分钟时，会发生超时的错误。 图1 报错提示 解决方法 1. 需要保证磁盘IO带宽正常，可以在36分钟内将文件保存到磁盘。单个节点内，最大只有60G（实际应该在40
保存ckpt时超时报错 在多节点集群训练完成后，只有部分节点会保存权重，而其他节点会一直在等待通信。当等待时间超过36分钟时，会发生超时的错误。 图1 报错提示 解决方法 1. 需要保证磁盘IO带宽正常，可以在36分钟内将文件保存到磁盘。单个节点内，最大只有60G（实际应该在40
出现该问题的可能原因如下： 如果在此之前是有进行数据复制的，每个节点复制的速度不是同一个时间完成的，然后有的节点没有复制完，其他节点进行torch.distributed.init_process_group()导致超时。 处理方法 如果是多个节点复制不同步，并且没有barrier的话导致的超时，可以在复制数据之前，先进行torch
保存ckpt时超时报错 在多节点集群训练完成后，只有部分节点会保存权重，而其他节点会一直在等待通信。当等待时间超过36分钟时，会发生超时的错误。 图1 报错提示 解决方法 1. 需要保证磁盘IO带宽正常，可以在36分钟内将文件保存到磁盘。单个节点内，最大只有60G（实际应该在40
按节点比例：每批次驱动升级的节点数量为“节点比例*资源池节点总数”。 按节点数量：每批次驱动升级的节点数量为设置的节点数量。 对于不同的升级方式，滚动升级选择节点的策略会不同： 如果升级方式为安全升级，则根据滚动节点数量选择无业务的节点，隔离节点并滚动升级。 如果升级方式为强制升级，则根据滚动
不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 NPU卡数、加速框架、梯度配置取值表 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值 优化工具(Deepspeed) 规格与节点数 llama2 llama2
保存ckpt时超时报错 在多节点集群训练完成后，只有部分节点会保存权重，而其他节点会一直在等待通信。当等待时间超过36分钟时，会发生超时的错误。 图1 报错提示 解决方法 1. 需要保证磁盘IO带宽正常，可以在36分钟内将文件保存到磁盘。单个节点内，最大只有60G（实际应该在40
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
