检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
算法超参相关的配置，建议直接使用默认值。每个参数的具体含义已在控制台界面输入框下方说明。 模型注册参数配置 model_name：填写模型名称，工作流多次运行使用同一个模型名称会自动新增版本。此参数填写后，模型注册和服务部署会同步使用该参数名称。 工作流运行完成后用户可以在ModelArts控
计费卡数。 表36 flavor_info 参数 参数类型 描述 max_num Integer 可以选择的最大节点数量（max_num，为1代表不支持分布式）。 cpu cpu object cpu规格信息。 gpu gpu object gpu规格信息。 npu npu object Ascend规格信息。
大并发量的场景 AWQ-W4A16 小并发量的低时延场景 更少推理卡数部署的场景 约束限制 表2列举了支持模型压缩的模型，不在表格里的模型不支持使用MaaS压缩模型。 表2 支持模型压缩的模型 模型名称 SmoothQuant-W8A8 AWQ-W4A16 Llama2-13B √
“仅自己可见”：表示只有当前账号可以查看并使用该资产。 公开权限只支持权限的扩大，权限从小到大为“仅自己可见<指定用户<公开”。所以如果一开始创建的是公开模型，将不支持修改“谁可以看”。 “时长限制”（ModelArts模型）或“路数限制”（HiLens技能）可以选择“不启用”或“启用”。当启用时，可以设
查询镜像组列表 GET /v1/{project_id}/images/group modelarts:image:listGroup - √ √ 注册自定义镜像 POST /v1/{project_id}/images modelarts:image:register - √ √ 删除自定义镜像
计费卡数。 表36 flavor_info 参数 参数类型 描述 max_num Integer 可以选择的最大节点数量（max_num，为1代表不支持分布式）。 cpu cpu object cpu规格信息。 gpu gpu object gpu规格信息。 npu npu object Ascend规格信息。
手动修改训练参数和tokenizer文件，具体请参见训练tokenizer文件说明。 由于模型中LoRA微调训练存在已知的精度问题，因此不支持TP(tensor model parallel size)张量模型并行策略，推荐使用PP(pipeline model parallel
数据集输入位置，用于将此目录及子目录下的源数据(如图片/文件/音频等)同步到数据集。对于表格数据集，该参数为导入目录。表格数据集的工作目录不支持为KMS加密桶下的OBS路径。 work_path 是 表6 数据集输出位置，用于存放输出的标注信息等文件。 labels 否 List of
部署模型服务：使用创建成功的自定义模型部署模型服务。 步骤三：在模型体验使用模型服务：在模型体验页面，体验部署的模型服务，进行对话问答。 准备工作 已注册华为账号并开通华为云，且在使用ModelArts前检查账号状态，账号不能处于欠费或冻结状态。 配置委托访问授权 ModelArts使用过程
FlavorInfoResponse 参数 参数类型 描述 max_num Integer 可以选择的最大节点数量（max_num，为1代表不支持分布式）。 cpu Cpu object cpu规格信息。 gpu Gpu object gpu规格信息。 npu Npu object Ascend规格信息。
BS文件下载到容器中的“/home/mind/model”目录下，最后执行SWR镜像中预置的启动命令。ModelArts平台会在APIG上注册一个预测接口提供给用户使用，用户可以通过平台提供的预测接口访问服务。 自定义引擎创建模型的规范 使用自定义引擎创建模型，用户的SWR镜像、
repo_id”为“ur5468675/test_cli_model1”。 图1 复制完整资产名称 如果资产详情页没有按钮，则表示该资产不支持使用Gallery CLI配置工具下载文件。 获取待下载的文件名 在AI Gallery页面的资产详情页，如果是模型资产，则选择“模型文件
其在CPU和Ascend上的实现方法存在差异（硬件结构不同），后者在运算此类算子时涉及到数组的重排，性能较差； 模型的部分算子在昇腾上不支持，或者存在Transpose操作，会导致模型切分为多个子图，整体的推理耗时随着子图数量的增多而增长； 模型没有真正的调用昇腾后端，而是自动
f1：F1值 F1值是模型精确率和召回率的加权调和平均，用于评价模型的好坏，当F1较高时说明模型效果较好。 同一个自动学习项目可以训练多次，每次训练会注册一个新的模型版本。如第一次训练版本号为“0.0.1”，下一个版本为“0.0.2”。基于训练版本可以对训练模型进行管理。当训练的模型达到目标后，再执行模型部署的操作。
持使用Gallery CLI配置工具下载，如图1所示。 图1 复制完整资产名称 “运行平台”设置为“Pangu Studio”的数据集，不支持使用CLI工具下载。 下载Gallery CLI配置工具包（本地） 如果是在本地服务器安装Gallery CLI配置工具，则参考本节将工具包下载至本地。
enai，需要填写正确的key，这个可能需要进行付费调用，评估1000条大概需要0.15美元 OPENAIKEY="" 注：openai不支持中国大陆和香港，不能使用中国的代理。 推理结果保存的文件名，可不用修改，使用默认的文件名 OUTPUTNAME=pred 步骤11 执行推理脚本
git+aria2，可以做到稳定下载不断线。 方法四：使用Git clone，官方提供了 git clone repo_url 的方式下载，但是不支持断点续传，并且clone 会下载历史版本占用磁盘空间。 模型软件包结构说明 本教程需要使用到的AscendCloud-6.3.908中的AscendCloud-LLM-xxx
f1：F1值 F1值是模型精确率和召回率的加权调和平均，用于评价模型的好坏，当F1较高时说明模型效果较好。 同一个自动学习项目可以训练多次，每次训练会注册一个新的模型一个版本。如第一次训练版本号为“0.0.1”，下一个版本为“0.0.2”。基于训练版本可以对训练模型进行管理。当训练的模型达到目标后，再执行模型部署的操作。
git+aria2，可以做到稳定下载不断线。 方法四：使用Git clone，官方提供了git clone repo_url 的方式下载，但是不支持断点续传，并且clone会下载历史版本占用磁盘空间。 模型软件包结构说明 本教程需要使用到的AscendCloud-6.3.909中的AscendCloud-LLM-xxx
计费卡数。 表38 flavor_info 参数 参数类型 描述 max_num Integer 可以选择的最大节点数量（max_num，为1代表不支持分布式）。 cpu cpu object cpu规格信息。 gpu gpu object gpu规格信息。 npu npu object Ascend规格信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
