检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
et18(Ascend) 进行训练作业，训练失败报错label_map.pbtxt cannot be found。 原因分析 该报错信息表示验证集中有label在训练集中不存在，可能由于在发布数据集版本进行数据切分时，训练集比例填写为0导致发布的数据全部为验证集，所以出现上述报错。
--benchmark-csv：结果保存路径，如benchmark_serving.csv。 --served-model-name： 选择性添加， 选择性添加，在接口中使用的模型名；如果没有配置，则默认为tokenizer。 --num-scheduler-steps: 需和服务启动时配置
选择您所需的集群。 文件路径：根据选择的集群，输入对应的文件路径，此文件路径为HDFS路径。 导入是否包含表头：开启表示导入时将表头同时导入。 父主题： 导入数据到ModelArts数据集
据。在这个过程中，就出现了ModelArts“代表”用户去访问其他云服务的情形。从安全角度出发，ModelArts代表用户访问任何云服务之前，均需要先获得用户的授权，而这个动作就是一个“委托”的过程。用户授权ModelArts再代表自己访问特定的云服务，以完成其在ModelArts平台上执行的AI计算任务。
据。在这个过程中，就出现了ModelArts“代表”用户去访问其他云服务的情形。从安全角度出发，ModelArts代表用户访问任何云服务之前，均需要先获得用户的授权，而这个动作就是一个“委托”的过程。用户授权ModelArts再代表自己访问特定的云服务，以完成其在ModelArts平台上执行的AI计算任务。
在BMS页面打开Grafana所在节点的安全组配置，添加入方向规则，允许外部访问3000、9090端口： 在浏览器地址栏输入xx.xx.xx.xx:3000，登录Grafana，默认账号密码为：admin/admin。在配置管理页面，添加数据源，类型选择Prometheus。 备注：xx
能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x
能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x
在运行时访问OBS等依赖服务。 使用主账号登录ModelArts的管理控制台，在左侧导航栏单击“权限管理”，进入“权限管理”页面。 单击“添加授权”。在“访问授权”页面，在“授权对象类型”下面选择“IAM子用户”，“授权对象”选择管理员的账号，选择“新增委托”，“权限配置”选择“
响应参数 状态码： 200 表3 响应Header参数 参数 参数类型 描述 X-Request-Id String 链路追踪ID。 表4 响应Body参数 参数 参数类型 描述 dns_domain_name String 页面调用指南展示的访问域名，可用于添加内网DNS解析。 vpcep_info
已存在创建完成的数据集。 创建一个空的OBS桶，OBS桶与ModelArts在同一区域，并确保用户具有OBS桶的操作权限。 本地上传 文件型和表格型数据均支持从本地上传。从本地上传的数据存储在OBS目录中，请先提前创建OBS桶。 从本地上传的数据单次最多支持100个文件同时上传，总大小不超过5GB。
步骤请参考创建资源池。 资源规格要求： 计算规格：用户可参考表2。 硬盘空间：至少200GB。 昇腾资源规格： Ascend: 1*ascend-snt9b表示昇腾单卡。 Ascend: 8*ascend-snt9b表示昇腾8卡。 推荐使用“西南-贵阳一”Region上的昇腾资源。
步骤请参考创建资源池。 资源规格要求： 计算规格：用户可参考表2。 硬盘空间：至少200GB。 昇腾资源规格： Ascend: 1*ascend-snt9b表示昇腾单卡。 Ascend: 8*ascend-snt9b表示昇腾8卡。 推荐使用“西南-贵阳一”Region上的昇腾资源。
自动学习中部署上线是将模型部署为什么类型的服务？ 自动学习中部署上线是将模型部署为在线服务，您可以添加图片或代码进行服务测试，也可以使用URL接口调用。 部署成功后，您也可以在ModelArts管理控制台的“部署上线 > 在线服务”页面中，查看到正在运行的服务。您也可以在此页面停止服务或删除服务。
据。在这个过程中，就出现了ModelArts“代表”用户去访问其他云服务的情形。从安全角度出发，ModelArts代表用户访问任何云服务之前，均需要先获得用户的授权，而这个动作就是一个“委托”的过程。用户授权ModelArts再代表自己访问特定的云服务，以完成其在ModelArts平台上执行的AI计算任务。
中，按照表1表格中的配置进行填写。 图2 环境变量 表1 需要填写的环境变量 环境变量 示例值 参数说明 MOUNT OBS 默认必须填写。表示代码根据OBS存储方式运行。 MODEL_NAME llama2-13b 输入选择训练的模型名称。 RUN_TYPE sft 表示训练类型。可选择值：[pretrain
对话场景下推荐使用prefix-caching特性。在推理服务启动脚本中添加此参数表示使用prefix-caching特性，不添加表示不使用。开启该特性后，如果模型长度>8192，则需要在启动推理服务前添加如下环境变量降低显存占用；否则在长序列的推理中会触发Out of Memory，导致推理服务不可用。
和Ascend Snt9B。 获取软件和镜像 表1 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.910软件包中的AscendCloud-AIGC-6.3.910-xxx.zip 文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。 获
export USE_VOCAB_PARALLEL=1 # 是否使用词表并行；默认值为1表示开启并行，取值为0表示关闭并行。对于词表较小的模型（如llama2系模型），关闭并行可以减少推理时延，对于词表较大的模型（如qwen系模型），开启并行可以减少显存占用，以提升推理吞吐量。
图1 API接口公网地址 few_shot：开启少量样本测试后添加示例样本的个数。默认为3，取值范围为0~5整数。 is_devserver： 是否DevServer部署方式，True表示DevServer模式。False表示ModelArts Standard模式。 vllm_model：对应Step4
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
