检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
df -h 步骤四 制作推理镜像 解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-6.3.911-xxx.zip和算子包AscendCloud-OPP-6.3.911-xxx.zip，并执行build_image.sh脚本制作推理镜像。安装过程需要连接互联网git
transformers 的版本。 由默认 transformers==4.45.0 修改为：transformers==4.44.2 执行以下命令制作训练镜像。安装过程需要连接互联网git clone，请确保ECS可以访问公网 docker build -t <镜像名称>:<版本名称>
transformers 的版本。 由默认 transformers==4.45.0 修改为：transformers==4.44.2 执行以下命令制作训练镜像。安装过程需要连接互联网git clone，请确保ECS可以访问公网 docker build -t <镜像名称>:<版本名称>
准备数据集 进入AI Gallery，搜索8类常见生活垃圾图片数据集。 单击“下载”，选择云服务区域“华北-北京四”，单击“确定”进入下载详情页。 填写如下参数： 下载方式：ModelArts数据集。 目标区域：华北-北京四。 数据类型：图片。 数据集输出位置：用来存放输出的数据标注的相关
度及性能调优。 环境准备 迁移环境准备有以下两种方式： 表1 迁移环境准备方式 方式 说明 ModelArts Notebook 该环境为在线调试环境，主要面向演示、体验和快速原型调试场景。 环境开通指导请参考Notebook环境创建。 ModelArts Lite DevServer
100：文本分类 101：命名实体 102：文本三元组关系标签 103：文本三元组实体标签 200：语音分类 201：语音内容 202：语音分割 600：视频标注 表7 LabelAttribute 参数 参数类型 描述 default_value String 标签属性默认值。 id String
用于后续的训练或推理任务 plot_loss true 用于指定是否绘制损失曲线。如果设置为"true"，则在训练结束后，将损失曲线保存为图片 overwrite_output_dir true 是否覆盖输出目录。如果设置为"true"，则在每次训练开始时，都会清空输出目录，以便保存新的训练结果。
1:${port}/v1/completions"；若服务部署在生产环境中，该地址由API接口公网地址与"/v1/completions"拼接而成，部署成功后的在线服务详情页中可查看API接口公网地址。 图1 API接口公网地址 few_shot：开启少量样本测试后添加示例样本的个数。默认为3，取值范围为0~5整数。
kflow。 删除后的Workflow无法恢复，请谨慎操作。 删除Workflow后，对应的训练作业和在线服务不会随之被删除，需要分别在“模型训练>训练作业”和“模型部署>在线服务”页面中手动删除任务。 父主题： 管理Workflow
100：文本分类 101：命名实体 102：文本三元组关系标签 103：文本三元组实体标签 200：语音分类 201：语音内容 202：语音分割 600：视频标注 表5 LabelAttribute 参数 参数类型 描述 default_value String 标签属性默认值。 id String
ascend_cloud_ops_atb-xx.whl Step4 开始推理 在容器工作目录下进到Qwen-VL/infer_test，将要测试的图片放到Qwen-VL/infer_test/images文件夹中，执行如下命令，运行推理脚本。 bash infer_demo.sh 推理结果如下所示：
df -h 步骤四 制作推理镜像 解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-6.3.910-xxx.zip和算子包AscendCloud-OPP-6.3.910-xxx.zip，并执行build_image.sh脚本制作推理镜像。安装过程需要连接互联网git
100：文本分类 101：命名实体 102：文本三元组关系标签 103：文本三元组实体标签 200：语音分类 201：语音内容 202：语音分割 600：视频标注 表4 LabelAttribute 参数 是否必选 参数类型 描述 default_value 否 String 标签属性默认值。 id
配置信息。 “部署类型” 选择此模型支持部署服务的类型，部署上线时只支持部署为此处选择的部署类型，例如此处只选择在线服务，那您导入后只能部署为在线服务。当前支持“在线服务”、“批量服务”和“边缘服务”。 “启动命令” 选填参数，指定模型的启动命令，您可以自定义该命令。 如果使用预
”。 图1 示例图片 添加指标查询信息。 图2 示例图片 添加方式：选择“按指标维度添加”。 指标名称：在右侧下拉框中选择“全量指标”，然后选择想要查询的指标，参考表1、表2 指标维度：填写过滤该指标的标签，请参考表4的Label名字栏。样例如下： 图3 示例图片 单击确定，即可出现指标信息。
解决方法：降低transformers版本到4.42：pip install transformers==4.42 --upgrade 问题6：部署在线服务报错starting container process caused "exec: \"/home/mind/model/run_vllm
model:/home/mind/model custom_engine:v1 该指令无法完全模拟线上，主要是由于-v挂载进去的目录是root权限。在线上，模型文件从OBS下载到/home/mind/model目录之后，文件owner将统一修改为ma-user。 在本地机器上启动另一个终端
3.907-xxx.zip和算子包AscendCloud-OPP-6.3.907-xxx.zip，并执行build_image.sh脚本制作推理镜像。安装过程需要连接互联网git clone，请确保ECS可以访问公网。 unzip AscendCloud-*.zip -d ./AscendCloud
作业”页面，检查是否有“运行中”的训练作业。如果有，单击该作业列表右方操作下的“停止”即可停止计费。 进入“ModelArts>模型部署>在线服务”页面，检查是否有“运行中”的推理作业。如果有，单击该作业列表右方操作下的“停止”即可停止计费。 进入“ModelArts>模型部署>
侧展开版本列表，当订阅模型的版本列表的状态显示为“就绪”时表示模型可以使用。 图1 进入“我的订阅” 在展开的版本列表中，单击“部署 > 在线服务”跳转至部署页面。 图2 部署模型 如果您选择部署的是商用模型，则选择服务类型后会弹出“修改配额”窗口，根据需要选择配额后单击“确定”即可跳转至“部署”页面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
