检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WorkflowMetricPair 参数 是否必选 参数类型 描述 key 否 String 度量信息metric的key。 value 否 Object 度量信息metric的值。 表10 StepCondition 参数 是否必选 参数类型 描述 type 否 String 判断类型，例如==（等于）、
sh demo.sh localhost 1 0 PROF_SAVE_PATH：Profiling录制结果存放路径 DO_PROFILER：是否开启Profiling录制功能 父主题： 训练脚本说明
填写Notebook基本信息，包含名称、描述、是否自动停止，详细参数请参见表1。 表1 基本信息的参数描述 参数名称 说明 “名称” Notebook的名称。只能包含数字、大小写字母、下划线和中划线，长度不能大于64位且不能为空。 “描述” 对Notebook的简要描述。 “自动停止” 默认开启，且默认值为“1
改“谁可以看”。 “时长限制”（ModelArts模型）或“路数限制”（HiLens技能）可以选择“不启用”或“启用”。当启用时，可以设置资产的免费使用时长或路数，以及到期后是否续订。 单击“保存”，完成修改。 编辑版本 选择“版本”页签，单击右上方的“编辑”。 在此页面可以修改
填写Notebook基本信息，包含名称、描述、是否自动停止，详细参数请参见表1。 表1 基本信息的参数描述 参数名称 说明 “名称” Notebook的名称。只能包含数字、大小写字母、下划线和中划线，长度不能大于64位且不能为空。 “描述” 对Notebook的简要描述。 “自动停止” 默认开启，且默认值为“1
placeholder_type=wf.PlaceholderType.STR, default="True", description="是否开启xla编译，加速训练，默认启用")), wf.AlgorithmParameters(name="data_format", value=wf
的切分方式，子图调优后算子已经被切分成最终的shape了，再进行算子调优时，会基于这个最终shape去做算子调优。如果优先算子调优，这时调优的算子shape不是最终切分后的算子shape，不符合实际使用场景。 本例同时指定了子图调优和算子调优，工具会先进行子图调优，再进行算子调优。
约束限制 专属资源池状态处于运行中，且专属池中的节点需要含有GPU/Ascend资源。 对于逻辑资源池，需要开启节点绑定后才能进行驱动升级，请提交工单联系华为工程师开启节点绑定。 驱动升级操作 登录ModelArts管理控制台，在左侧导航栏中选择“AI专属资源池 > 弹性集群C
例如：["你"，"好"]，生成文本时遇到"你"或者"好"将停止文本生成。 stream 否 False Bool 是否开启流式推理。默认为False，表示不开启流式推理。 n 否 1 Int 返回多条正常结果。 约束与限制： 不使用beam_search场景下，n取值建议为1≤
Constraint 参数 是否必选 参数类型 描述 attribute 否 String 条件属性，参数的某个字段值。 operator 否 String 操作，当前只支持equal操作。 value 否 Object 取值。 表5 WorkflowParameter 参数 是否必选 参数类型
LogReportPipeline objects 日志通道组。没有配置或者数组长度为0时部署代表未启用LTS日志对接。开启后不支持修改。 websocket_upgrade 否 Boolean 服务接口是否升级为WebSocket。部署服务时，默认值为false；更新服务配置时，默认值为上一次设置的值。
推理服务高阶配置（可选） 如需开启以下高阶配置，请在•创建推理脚本文件run_vllm.sh章节创建的推理脚本run_vllm.sh中增加需要开启的高阶配置。 词表切分 在分布式场景下，默认不使用词表切分能提升推理性能，同时也会增加单卡的显存占用。不建议开启词表并行，如确需使用词表切分，配置以下环境变量。
--use-spec-decode：是否使用投机推理进行输出统计，不输入默认为false。当使用投机推理时必须开启，否则会导致输出token数量统计不正确。注：由于投机推理的性能测试使用随机输入意义不大，建议开启--dataset-type、--dataset-path，并选择性开启--use-re
path}同时使用。 可在run_vllm.sh增加如下环境变量开启高阶配置： export DEFER_DECODE=1 # 是否使用推理与Token解码并行；默认值为1表示开启并行，取值为0表示关闭并行。开启该功能会略微增加首Token时间，但可以提升推理吞吐量。 export
data_path String 数据集数据存储路径。 data_spliting_enable Boolean 根据样本标注统计，判断数据集是否可以进行训练/验证集切分。可选值如下： true：数据集可以进行训练/验证集切分 false：数据集无法进行训练/验证集切分 grouped_label_stats
s/stats 表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 email 否 String
对已经关联的资产，单击“取消关联”即可取消资产的关联。 发表评论 请确保开启了邮箱通知。 在“AI Gallery”页面中，单击右上角“我的Gallery > 我的资料”进入我的资料页面，查看“开启邮箱通知”开关，默认是打开的。如果未打开请开启。 选择“评论”页签在输入框中输入评论内容，单击“发表
modelarts/ma-cli-profile.yaml配置文件； -P表示鉴权文件中的某一组鉴权信息，默认是DEFAULT； -D表示是否开启debug模式（默认关闭），当开启debug模式后，命令的报错堆栈信息将会打印出来，否则只会打印报错信息； -h表示显示命令的帮助提示信息。 命令说明 表1
--use-spec-decode：是否使用投机推理进行输出统计，不输入默认为false。当使用投机推理时必须开启，否则会导致输出token数量统计不正确。注：由于投机推理的性能测试使用随机输入意义不大，建议开启--dataset-type、--dataset-path，并选择性开启--use-re
【必填】模型转换数据、转换权重、训练脚本路径，scripts_modellink目录路径 train_auto_resume False 是否开启【故障快恢】功能，【True、False】默认False不开启，当训练中断时重启任务会从最新生成权重文件处继续训练。详见断点续训和故障快恢说明 stage sft 【必
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
