检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
传统LLM推理主要依赖于自回归式（auto-regressive）的解码（decoding）方式，每步解码只能够产生一个输出token，并且需要将历史输出内容拼接后重新作为LLM的输入，才能进行下一步的解码。为了解决上述问题，提出了一种投机式推理方式，其核心思想是通过计算代价远低于LLM的小模型替代LLM进行投机式地推理（Speculative
两条策略，便于授权时设置最小授权范围。此处的“trainJob”为项目级云服务、“trainJobobs”为全局级云服务。了解更多 创建用户组并加入用户，步骤请参考Step1 创建用户组并加入用户。 给用户组授权策略。 在IAM服务的用户组列表页面，单击“授权”，进入到授权页面，
镜像类型。枚举值如下： BUILD_IN：系统内置镜像。 DEDICATED：用户保存的镜像。 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。 请求参数 无 响应参数 状态码：200
服务升级关系着业务实现，不当的升级操作会导致升级期间业务中断的情况，请谨慎操作。 ModelArts支持部分场景下在线服务进行无损滚动升级。按要求进行升级前准备，做好验证，即可实现业务不中断的无损升级。 表1 支持无损滚动升级的场景 创建模型的元模型来源 服务使用的是公共资源池 服务使用的是专属资源池
对于已部署的推理服务，ModelArts支持通过更换模型的版本号，实现服务升级。 推理服务有三种升级模式：全量升级、滚动升级（扩实例）和滚动升级（缩实例）。了解三种升级模式的流程，请参见图1。 全量升级 需要额外的双倍的资源，先全量创建新版本实例，然后再下线旧版本实例。 滚动升级（扩实例）
删除maos-node-agent的pod（重启pod）。 CCE页面上删除节点上的污点A200008。 ModelArts上重置节点。 CCE页面上配置中心修改默认调度器为volcano。 该方案的缺点：后续对ModelArts的节点做相关操作如重置、升级驱动等可能会出现节点异常无法启动的情况。 父主题：
）和本地上传。 数据集中的数据导入入口 数据集中的数据导入有5个入口。 创建数据集时直接从设置的数据导入路径中自动同步数据。 创建完数据集后，在数据集列表页面的操作栏单击“导入”，导入数据。 图1 在数据集列表页导入数据 在数据集列表页面，单击某个数据集的名称，进入数据集详情页中，单击“导入>导入”，导入数据。
套餐包，从而获得灵活的、更高性价比的算力资源。当购买了套餐包，在使用公共资源池运行任务时，将会优先抵扣套餐包的配额，超出当前套餐包的额度或使用时段，将自动转为按需收费。 关于套餐包的约束限制、资源包抵扣顺序和套餐包余量预警请参见套餐包。 购买操作如下： 登录ModelArts管理控制台。
训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 步骤二 修改训练超参配置 以Llama2-70b和Llama2-13b的LoRA微调为例，执行脚本为0_pl_lora_70b
训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 步骤二 修改训练超参配置 以Llama2-70b和Llama2-13b的SFT微调为例，执行脚本为0_pl_sft_70b
TensorFlow-1.8作业连接OBS时反复出现提示错误 问题现象 基于TensorFlow-1.8启动训练作业，并在代码中使用“tf.gfile”模块连接OBS，启动训练作业后会频繁打印如下日志信息： Connection has been released. Continuing
自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite Server上的预训练和全量微调方案。训练框架使用的是ModelLink。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts
+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite Cluster上的训练方案。训练框架使用的是ModelLink。 本方案目前仅适用于企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts
multi-step 什么是multi-step vLLM的调度和输入准备的CPU开销可能会导致NPU利用率不足，开启multi-step调度可以有效解决这个问题，开启multi-step调度后会在执行一次调度和输入准备后，连续n步运行模型。通过NPU在n步之间连续处理，而无需等
FINETUNING_TYPE，表示微调的策略，可以选择的参数包括：{full, lora} 删除 RUN_TYPE 所以当前的组合情况为： 项目 full lora pt（预训练） √ √ sft（指令微调） √ √ 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号
从OBS中导入模型文件创建模型时，模型文件包需符合ModelArts的模型包规范，推理代码和配置文件也需遵循ModelArts的要求。 本章节提供针对常用AI引擎的自定义脚本代码示例（包含推理代码示例）。模型推理代码编写的通用方法及说明请见模型推理代码编写说明。 Tensorflow
/home/ma-user 排查密钥是否是和实例绑定的一致。 停止实例，进入实例详情页。 更新密钥：单击“认证”旁边的编辑按钮，然后单击“立即创建”创建并选择新密钥。 重新使用VS Code连接实例，选择新创建的密钥。 父主题： VS Code连接开发环境失败故障处理
FINETUNING_TYPE，表示微调的策略，可以选择的参数包括：{full, lora} 删除 RUN_TYPE 所以当前的组合情况为： 项目 full lora pt（预训练） √ √ sft（指令微调） √ √ 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号
Workforce objects 分页查询到的标注团队列表。 表4 Workforce 参数 参数类型 描述 create_time Long 标注团队的创建时间。 description String 标注团队的描述。 update_time Long 标注团队的更新时间。 worker_count
训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 步骤二 修改训练超参配置 以Llama2-70b和Llama2-13b的LoRA微调为例，执行脚本为0_pl_lora_70b
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
