检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
disable_gradient_checkpointing true 关闭重计算，用于禁用梯度检查点，默认开启梯度检查点;在深度学习模型训练中用于保存模型的状态，以便在需要时恢复。这种技术可以帮助减少内存使用，特别是在训练大型模型时，但同时影响性能。True表示关闭重计算功能。 include_tokens_per_second
txt，打印训练过程中AICORE利用率 本章节主要介绍训练性能训练任务流程，如需执行训练精度任务可参考训练精度测试 PPO强化训练时必须关闭共享内存，启动任务命令需设置PYTORCH_NPU_ALLOC_CONF值为False，具体命令如下： PYTORCH_NPU_ALLOC_CONF
txt，打印训练过程中AICORE利用率 本章节主要介绍训练性能训练任务流程，如需执行训练精度任务可参考训练精度测试 PPO强化训练时必须关闭共享内存，启动任务命令需设置PYTORCH_NPU_ALLOC_CONF值为False，具体命令如下： PYTORCH_NPU_ALLOC_CONF
disable_gradient_checkpointing true 关闭重计算，用于禁用梯度检查点，默认开启梯度检查点;在深度学习模型训练中用于保存模型的状态，以便在需要时恢复。这种技术可以帮助减少内存使用，特别是在训练大型模型时，但同时影响性能。True表示关闭重计算功能。 include_tokens_per_second
export USE_VOCAB_PARALLEL=1 # 是否使用词表并行；默认值为1表示开启并行，取值为0表示关闭并行。对于词表较小的模型（如llama2系模型），关闭并行可以减少推理时延，对于词表较大的模型（如qwen系模型），开启并行可以减少显存占用，以提升推理吞吐量。 export
境为准。 当开启权重校验时，平台会对OBS中的权重文件进行校验，确认其是否满足规范。权限校验常见的失败情况及其处理建议请参见权重校验。 当关闭权重校验时，则不进行校验，创建模型可能会因为权重文件不合规而失败。 表2 模型介绍 模型系列 模型类型 应用场景 支持语言 GLM-4 文本生成
com/SafeAILab/EAGLE/ 版本实现，默认开启 export ENABLE_SPEC_METRIC=0 # 是否关闭投机推理的metric采集功能，关闭有助于提升投机推理性能，默认关闭 如果需要使用eagle投机推理功能，需要进入 lm_tools/spec_decode/EAGLE文件
“部署超时时间” 用于设置单个模型实例的超时时间，包括部署和启动时间。默认值为20分钟，输入值必须在3到120之间。 “运行日志输出” 默认关闭，批量服务的运行日志仅存放在ModelArts日志系统，在服务详情页的“日志”支持简单查询。 如果开启此功能，批量服务的运行日志会输出存放
Notebook：Notebook作业 state String 业务状态。可选值如下： Enabling：启动中 Enabled：已启动 Disabling：关闭中 Disabled：已关闭 表29 driver 参数 参数类型 描述 gpu PoolDriverStatus object GPU驱动信息。 npu
“指定用户”：表示仅特定用户可以查看及使用该资产。 “仅自己可见”：表示只有当前账号可以查看并使用该资产。 设置“时长限制”。 设置订阅者可以免费使用资产的时长，默认关闭，即无限期使用。如果打开时长限制，除了设置资产免费使用的时长，还可以设置到期后是否续订。 如果是更新已发布资产的版本。 “发布方式”选择“添加资产版本”。
户。详细的退订规则请参见云服务退订规则概览。 如果您已开启“自动续费”功能，为避免继续产生费用，请在自动续费扣款日（默认为到期前7日）之前关闭自动续费。 按需计费资源 对于按需计费模式的资源，如果不再使用这些资源且需停止计费，请删除相应资源。 通过账单查找云服务资源并停止计费 为
Gallery中提供了常见的精度较高的算法和相应的训练数据集，用户可以在AI Gallery的资产集市中获取。 后续操作：清除相应资源 在完成预测之后，建议关闭服务，以免产生不必要的计费。 停止运行服务 预测完成后，单击页面右上角的“停止”，即可停止该服务。 单击左上角返回在线服务，在对应的服务名
Gallery中提供了常见的精度较高的算法和相应的训练数据集，用户可以在AI Gallery的资产集市中获取。 后续操作：清除相应资源 在完成预测之后，建议关闭服务，以免产生不必要的计费。 停止运行服务 预测完成后，单击页面右上角的“停止”，即可停止该服务。 单击左上角返回在线服务，在对应的服务名
通过Token认证的方式访问在线服务 如果在线服务的状态处于“运行中”，则表示在线服务已部署成功，部署成功的在线服务，将为用户提供一个可调用的API，此API为标准Restful API。在集成至生产环境之前，需要对此API进行调测，您可以使用以下方式向在线服务发起预测请求： 方
到影响。如果您要做分布式训练，建议您只选择一个GPU或NPU规格。 一个资源池中，最多可添加10种规格。 资源调度与切分 自定义驱动 默认关闭。部分GPU和Ascend规格资源池允许自定义安装驱动。集群中默认会安装驱动，无需用户操作。只有需要指定驱动版本时，需要开启。建议在购买C
其中ServiceStep节点包含两个输入，一个是模型列表对象，另一个是在线服务对象，此时在运行态通过开关的方式来控制部署/更新服务，如下图所示： 在线服务开关默认关闭，节点走部署服务的流程；如果需要更新服务，则手动打开开关，选择相应的在线服务即可。 进行服务更新时，需要保证被更新的服务所使用的模型与配置的模型名称相同。
Key管理”。 在“API Key管理”页面，单击“创建API Key”，填写描述信息后，单击“确认”会返回“您的密钥”，请复制保存密钥，单击“关闭”后将无法再次查看密钥。 最多支持创建5个密钥，密钥只会在新建后显示一次，请妥善保存。当密钥丢失将无法找回，请新建API Key获取新的访问密钥。
Key管理”。 在“API Key管理”页面，单击“创建API Key”，填写描述信息后，单击“确认”会返回“您的密钥”，请复制保存密钥，单击“关闭”后将无法再次查看密钥。 最多支持创建5个密钥，密钥只会在新建后显示一次，请妥善保存。当密钥丢失将无法找回，请新建API Key获取新的访问密钥。
--page-size Int 否 每页显示的作业数量，默认是20。 -v / --verbose Bool 否 显示详细的信息开关，默认关闭。 示例：查询DLI Spark所有作业。 ma-cli dli-job get-job 使用ma-cli dli-job submit命令提交DLI
FlashAttention融合算子，具体约束详见NPU_Flash_Attn融合算子约束 是，配置以下参数。 flash_attn: sdpa 否，配置以下参数关闭。 flash_attn: disabled 是否使用固定句长。 是，配置以下参数 packing: true 否，默认使用动态句长，注释掉packing参数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
