检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
（此参数目前仅适用于Llama3系列模型长序列训练） LR 2.5e-5 学习率设置。 MIN_LR 2.5e-6 最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 TRAIN_ITERS 100 表示训练step迭代次数，根据实际需要修改。
（此参数目前仅适用于Llama3系列模型长序列训练） LR 2.5e-5 学习率设置。 MIN_LR 2.5e-6 最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 TRAIN_ITERS 100 表示训练step迭代次数，根据实际需要修改。
（此参数目前仅适用于Llama3系列模型长序列训练） LR 2.5e-5 学习率设置。 MIN_LR 2.5e-6 最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 TRAIN_ITERS 100 表示训练step迭代次数，根据实际需要修改。
（此参数目前仅适用于Llama3系列模型长序列训练） LR 2.5e-5 学习率设置。 MIN_LR 2.5e-6 最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 TRAIN_ITERS 100 表示训练step迭代次数，根据实际需要修改。
表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。 LR 2.5e-5 学习率设置。 MIN_LR 2.5e-6 最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 TRAIN_ITERS 100
建配置。 图4 资源设置 表4 部署模型服务 参数 说明 取值样例 服务设置 服务名称 自定义模型服务的名称。 参见表5 描述 自定义部署模型服务的简介。 - 模型设置 部署模型 单击“选择模型”，从“我的模型”列表中选择需要部署的模型。 参见表5 资源设置 资源池类型 资源池分为公共资源池与专属资源池。
动的NPU卡数保持一致，默认为1。 --block-size：kv-cache的block大小，推荐设置为128。 --num-scheduler-steps: 默认为1，推荐设置为8。用于multi-step调度。每次调度生成多个token，可以降低时延。开启投机推理后无需配置该参数，否则会导致投机推理启动报错。
添加开发环境使用权限和依赖服务SWR权限。在统一身份认证服务页面的左侧导航选择“权限管理 > 权限”，单击右上角的“创建自定义策略”，设置策略。 添加开发环境使用权限。 “策略名称”：设置自定义策略名称，例如：notebook。 “策略配置方式”：选择JSON视图。 “策略内容”：填入如下内容。 {
16,32 # 设置动态分档的档位，根据实际情况设置，另外请不要设置档位1(DeepSeek V2 236B W8A8 模型建议最大设置4个档位) export VLLM_ENGINE_ITERATION_TIMEOUT_S=1500 # 设置vllm请求超时时间(DeepSeek
按需选择计算规格。单击“选择”，在弹窗中选择资源规格并设置运行时长控制，单击“确定”。 在“所在区”选择计算规格所在的区域。默认显示全部区域的计算规格。 选择计算规格不可用的资源会置灰。右侧“配置信息”区域会显示计算规格的详细数据，AI Gallery会基于资产和资源情况分析该任务是否支持设置“商品数量”，用户可以基于业务需要选择任务所需的资源卡数。
表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。 LR 2.5e-5 学习率设置。 MIN_LR 2.5e-6 最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 TRAIN_ITERS 100
“写入模式”，包括线性和条带化。 以本地持久卷挂载：支持“持久卷写入模式”设置，包括线性和条带化，此处设置的是所有数据盘的写入模式。 以临时存储卷挂载：支持“临时卷写入模式”设置，包括线性和条带化，此处设置的是所有数据盘的写入模式。 新增规格 - 支持添加多个规格。限制如下： 当
在统一身份认证服务页面的左侧导航选择“权限管理 > 权限”，单击右上角的“创建自定义策略”，需要设置两条策略。 策略1：设置查看Notebook所有实例，如图1所示，单击“确定”。 “策略名称”：设置自定义策略名称，例如：查看Notebook所有实例。 “策略配置方式”：选择可视化视图。
表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。 LR 2.5e-5 学习率设置。 MIN_LR 2.5e-6 最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 TRAIN_ITERS 100
Face权重时，对应的存放绝对或相对路径。请根据实际规划修改。 do_train true 指示脚本执行训练步骤，用来控制是否进行模型训练的。如果设置为true，则会进行模型训练；如果设置为false，则不会进行模型训练。 cutoff_len 4096 文本处理时的最大长度，此处为4096，用户可根据自己要求适配。
在统一身份认证服务页面的左侧导航选择“权限管理 > 权限”，单击右上角的“创建自定义策略”，需要设置两条策略。 策略1：设置查看Notebook所有实例，如图1所示，单击“确定”。 “策略名称”：设置自定义策略名称，例如：查看Notebook所有实例。 “策略配置方式”：选择可视化视图。
在目标服务右侧，单击操作列的“在线体验”，跳转到“模型体验”页面，在右上角单击“参数设置”，按需配置相关参数，即可开始问答体验。操作指导请参见在MaaS体验模型服务。 表1 参数设置 参数 说明 温度/Temperature 设置推理温度。 数值较高，输出结果更加随机。 数值较低，输出结果更加集中和确定。
dump图进行具体分析。 配置方式参考如下： 打开DEBUG日志。 设置MindSpore日志环境变量。 export GLOG_v=0 # 0-DEBUG、1-INFO、2-WARNING、3-ERROR 设置CANN日志环境变量。 # 0：表示DEBUG。1：表示INFO。2
重，以提高推理效率。 压缩后模型名称 设置压缩后产生的新模型的名称。 支持1~64位，以中文、大小写字母开头，只包含中文、大小写字母、数字、下划线（_）、中划线（-）和（.）。 参数设置 平滑系数/Migration Strength 设置SmoothQuant量化的迁移系数，仅
PTA_TORCHAIR_DECODE_GEAR_LIST=2,4,6,8,16,32 # 设置动态分档的挡位，根据实际情况设置，另外请不要设置挡位1 export VLLM_ENGINE_ITERATION_TIMEOUT_S=900 # 设置vllm请求超时时间 图模式主要针对小模型的场景，可减少算子下发的瓶颈，目前仅针对Qwen2-1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
