检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
llama3系列 llama2系列 glm4-9b mixtral-8x7b baichuan2-13b 支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface
说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 支持的模型列表和权重文件 本方案支持vLLM的v0.6.0版本。不同vLLM版本支持的模型列表有差异，具体如表3所示。 表3 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化
llama3系列 llama2系列 glm4-9b mixtral-8x7b baichuan2-13b 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface
分类或者物体检测的数据集中可能存在非所需类别的图像，需要将这些图像去除掉，以免对标注、模型训练造成干扰。 图5 PCC算子效果 参数说明 表1 数据清洗-PCC算子参数说明 参数名 是否必选 默认值 参数说明 prototype_sample_path 是 None 数据清洗正样
单击“增加环境变量”，在增加的环境变量填写框中，按照表1表格中的配置进行填写。 表1 需要填写的环境变量 环境变量 示例值 参数说明 MOUNT OBS 默认必须填写。表示代码根据OBS存储方式运行。 MODEL_NAME llama2-13b 输入选择训练的模型名称。 RUN_TYPE lora 表示训练类型。可选择值：[pretrain
select：单选下拉列表 values Array of LabelAttributeValue objects 标签属性值列表。 表8 LabelAttributeValue 参数 参数类型 描述 id String 标签属性值ID。 value String 标签属性值。 表9 LabelProperty
搜索算法配置。 表14 reward_attrs 参数 参数类型 描述 name String 指标名称。 mode String 搜索方向。 max：指定时，表示指标值越大越好； min：指定时，表示指标值越小越好。 regex String 指标正则表达式。 表15 search_params
x.x”。 设置“谁可以看”。 设置资产的公开权限。可选值有： “公开”：表示所有使用AI Gallery的用户都可以查看且使用该资产。 “指定用户”：表示仅特定用户可以查看及使用该资产。 “仅自己可见”：表示只有当前账号可以查看并使用该资产。 “时长限制”。 设置订阅者可以免费使
订阅消息使用消息通知服务，在事件列表中选择需要监控的节点或者Workflow状态，在事件发生时发送消息通知。 说明： 打开开关后，需要先指定SMN主题名，如未创建主题名，需前往消息通知服务创建主题。 支持对Workflow中单个节点、多个节点以及工作流的相关事件进行订阅。订阅列表中，一行代表一个节点或者
export USE_VOCAB_PARALLEL=1 # 是否使用词表并行；默认值为1表示开启并行，取值为0表示关闭并行。对于词表较小的模型（如llama2系模型），关闭并行可以减少推理时延，对于词表较大的模型（如qwen系模型），开启并行可以减少显存占用，以提升推理吞吐量。
export USE_VOCAB_PARALLEL=1 # 是否使用词表并行；默认值为1表示开启并行，取值为0表示关闭并行。对于词表较小的模型（如llama2系模型），关闭并行可以减少推理时延，对于词表较大的模型（如qwen系模型），开启并行可以减少显存占用，以提升推理吞吐量。
通过Token认证的方式访问在线服务 如果在线服务的状态处于“运行中”，则表示在线服务已部署成功，部署成功的在线服务，将为用户提供一个可调用的API，此API为标准Restful API。在集成至生产环境之前，需要对此API进行调测，您可以使用以下方式向在线服务发起预测请求： 方
> Notebook”，进入“Notebook”列表页面。 单击“创建Notebook”，进入“创建Notebook”页面，请参见如下说明填写参数。 填写Notebook基本信息，包含名称、描述、是否自动停止，详细参数请参见表1。 表1 基本信息的参数描述 参数名称 说明 “名称”
行模型训练，训练输出的结果也支持存储至OBS桶中。创建训练作业时可以参考表4配置输入、输出、超参、环境变量等参数。 创建训练作业时选择的创建方式不同，训练作业的输入、输出和超参显示不同。如果参数值置灰，即表示该参数已经在算法代码中配置了且不支持修改。 表4 配置训练参数 参数名称
数据特征分析任务启动后，需执行一段时间，根据数据量不同等待时间不同，请耐心等待。当您选择分析的版本出现在“版本选择”列表下，且可选择时，即表示分析已完成。 查看数据特征分析结果。 “版本选择”：在右侧下拉框中选择进行对比的版本。也可以只选择一个版本。 “类型”：选择需要分析的类型。支持“all”、“train”、“eval”和“inference”。
说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 支持的模型列表和权重文件 本方案支持vLLM的v0.6.3版本。不同vLLM版本支持的模型列表有差异，具体如表3所示。 表3 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化
模型的自定义镜像制作流程 如果您使用了ModelArts不支持的AI引擎开发模型，也可通过制作自定义镜像，导入ModelArts创建为模型，并支持进行统一管理和部署为服务。 制作流程 场景一： 预置镜像的环境软件满足要求，只需要导入模型包，就能用于创建模型，通过镜像保存功能制作。
本文档适配昇腾云ModelArts 6.3.909版本，请参考表1获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。 软件配套版本 表1 获取软件 分类 名称 获取路径
集群转发模式：iptables|ipvs huawei-npu npu-driver volcano 插件版本匹配关系请见表3。 RoCE 操作系统：Huawei Cloud EulerOS 2.0 64bit 内核版本：5.10.0-60.18.0.50.r865_35.hce2.aarch64
转至AI应用列表页面，等待创建结果，预计2分钟左右。 当AI应用的状态变为“正常”时，表示创建成功。 步骤5：部署为在线服务（CPU） AI应用创建成功后，可将其部署为在线服务，在部署时可使用CPU资源。 单击AI应用名称左侧的单选按钮，在列表页底部展开“版本列表”，在版本的操作列中单击“部署
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
