检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
格”提高预测速度。例如使用GPU资源代替CPU资源。 部署在线服务时，您可以增加“计算节点个数”。 如果节点个数设置为1，表示后台的计算模式是单机模式；如果节点个数设置大于1，表示后台的计算模式为分布式的。您可以根据实际需求进行选择。 推理速度与模型复杂度强相关，您可以尝试优化模型提高预测速度。
练的epochs数值，则增量训练会出现少训练一个epoch的现象。 处理方法 第二次增量训练设置的epochs数值需要大于第一次常规训练设置的epochs数值。 举例：对一个已经完成的训练作业（假设训练了50个epochs），想要训练更多的epochs（追加30个epochs），
推理业务迁移到昇腾的通用流程，可参考GPU推理业务迁移至昇腾的通用指导。 由于Huggingface网站的限制，访问Stable Diffusion链接时需使用代理服务器，否则可能无法访问网站。 在Stable Diffusion迁移适配时，更多的时候是在适配Diffusers和Stable Diffusion
使用ibstatus或者ibstat获取。华为云Ant8裸金属服务器使用Ubuntu20.04操作系统默认已经安装IB驱动。） 操作步骤 方法1：使用mlx硬件计数器，估算ROCE网卡收发流量 统计300s内流量，统计脚本如下： x=$(cat /sys/class/infini
报错提示 解决方法 1. 需要保证磁盘IO带宽正常，可以在36分钟内将文件保存到磁盘。单个节点内，最大只有60G（实际应该在40G以下）的文件内容，只要在36分钟内保存完成，就不会报超时错误。 2. 忽略该报错，因为报错不影响实际报错的权重。 父主题： 常见错误原因和解决方法
报错提示 解决方法 1. 需要保证磁盘IO带宽正常，可以在36分钟内将文件保存到磁盘。单个节点内，最大只有60G（实际应该在40G以下）的文件内容，只要在36分钟内保存完成，就不会报超时错误。 2. 忽略该报错，因为报错不影响实际报错的权重。 父主题： 常见错误原因和解决方法
报错提示 解决方法 1. 需要保证磁盘IO带宽正常，可以在36分钟内将文件保存到磁盘。单个节点内，最大只有60G（实际应该在40G以下）的文件内容，只要在36分钟内保存完成，就不会报超时错误。 2. 忽略该报错，因为报错不影响实际报错的权重。 父主题： 常见错误原因和解决方法
报错提示 解决方法 1. 需要保证磁盘IO带宽正常，可以在36分钟内将文件保存到磁盘。单个节点内，最大只有60G（实际应该在40G以下）的文件内容，只要在36分钟内保存完成，就不会报超时错误。 2. 忽略该报错，因为报错不影响实际报错的权重。 父主题： 常见错误原因和解决方法
报错提示 解决方法 1. 需要保证磁盘IO带宽正常，可以在36分钟内将文件保存到磁盘。单个节点内，最大只有60G（实际应该在40G以下）的文件内容，只要在36分钟内保存完成，就不会报超时错误。 2. 忽略该报错，因为报错不影响实际报错的权重。 父主题： 常见错误原因和解决方法
报错提示 解决方法 1. 需要保证磁盘IO带宽正常，可以在36分钟内将文件保存到磁盘。单个节点内，最大只有60G（实际应该在40G以下）的文件内容，只要在36分钟内保存完成，就不会报超时错误。 2. 忽略该报错，因为报错不影响实际报错的权重。 父主题： 常见错误原因和解决方法
量，能更好的支撑用户使用该资产。 在模型详情页，选择“模型介绍”页签，单击右侧“编辑介绍”。 编辑模型基础设置和模型描述。 表1 模型介绍的参数说明 参数名称 说明 基础设置 中文名称 显示模型的名称，不可编辑。 许可证 模型遵循的使用许可协议，根据业务需求选择合适的许可证类型。
描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 查询算法的偏移量，最小为0。例如设置为1，则表示从第二条开始查。 limit 否 Integer
原因分析 可能原因如下： 原因1：未设置环境变量NCCL_IB_TC、NCCL_IB_GID_INDEX、NCCL_IB_TIMEOUT，因此会导致通信速度慢且不稳定，最后造成IB通信断连，偶发上述现象。 原因2：NCCL_SOCKET_IFNAME设置错误。当用户的NCCL版本低于2
您可以在当前的终端会话中直接执行TMOUT=0使设置立即生效，或者将export TMOUT=0添加到/etc/profile文件中，以确保所有用户的新会话都不会因为空闲而断开。 但是在生产环境或多人使用的公共服务器上，不建议设置TMOUT=0，关闭自动注销功能会带来一定的安全风险。
benchmark-tools访问推理客户端返回警告 解决方法： 减少参数--prompt-tokens和--output-tokens的值，或者增大启动服务的参数--max-model-len的值。 问题11：使用离线推理时，性能较差或精度异常 解决方法：将block_size大小设置为128 from vllm
benchmark-tools访问推理客户端返回警告 解决方法： 减少参数--prompt-tokens和--output-tokens的值，或者增大启动服务的参数--max-model-len的值。 问题11：使用离线推理时，性能较差或精度异常 解决方法：将block_size大小设置为128 from vllm
Code自动升级，导致连接时需要重新下载新版vscode-server。 解决方法 禁止VS Code自动升级。单击左下角选择Settings项，搜索Update: Mode，将其设置为none。 图1 打开Settings 图2 设置“Update: Mode”为“none” 父主题： VS Code连接开发环境失败故障处理
benchmark-tools访问推理客户端返回警告 解决方法： 减少参数--prompt-tokens和--output-tokens的值，或者增大启动服务的参数--max-model-len的值。 问题11：使用离线推理时，性能较差或精度异常 解决方法：将block_size大小设置为128 from vllm
service实现将VPC子网分配的私有IP写入网卡配置文件中。NetworkManager.service会优先读取网卡配置文件中的IP设置为主机IP， 此时无论DH Cient是否关闭，服务器都可以获取分配IP。 当服务器没有网卡配置文件时，DH Client开启，此时服务器会分配私有IP。如果关闭DH
昇腾多卡训练任务是多进程多卡模式，跑几卡需要起几个python进程。昇腾底层会读取环境变量：RANK_TABLE_FILE，开发环境已经设置，用户无需关注。比如跑八卡，可以如下片段代码： export RANK_SIZE=8 current_exec_path=$(pwd)
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
