检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在本地机器上启动另一个终端，执行以下验证指令，得到符合预期的推理结果。 curl https://127.0.0.1:8080/${推理服务的请求路径} 推理部署示例 本节将详细说明以自定义引擎方式创建AI应用的步骤。 创建AI应用并查看AI应用详情 登录ModelArts管理控制台，进入“AI应用”页面中，单击“
使用NPU卡进行推理。 方案概览 本方案介绍了在ModelArts的Lite Cluster上使用昇腾计算资源部署ComfyUI用于推理的详细过程。完成本方案的部署，需要先联系您所在企业的华为方技术支持购买Cluster资源。 本方案目前仅适用于企业客户，并且需要用户具备k8s集群相关技能。
preferred_fp32 模型转换 在ModelArts开发环境中，通过对应的转换预置镜像，直接执行对应的转换过程，对应的转换和评估工具都已经预置了最新版本，详细介绍请见使用说明。inputShape查看方法请见转换关键参数准备。 !converter_lite --modelFile=resnet50
KER_NUM”、“VC_TASK_INDEX”、“MA_NUM_GPUS”为ModelArts训练容器中预置的环境变量。训练容器环境变量详细介绍可参考查看训练容器环境变量。 通过obsutils，将代码文件夹放到OBS上，然后通过OBS将代码传至SFS相应目录中。 在SFS中将
的端口号在各个节点上都没有被其他应用占用。 Kubernetes下Prometheus对接ModelArts 使用kubectl连接集群，详细操作请参考通过kubectl连接集群。 配置Kubernetes的访问授权。 使用任意文本编辑器创建prometheus-rbac-setup
Array<Object> 训练作业的运行参数，为“label-value”格式，该样例请参考请求示例；当为自定义镜像训练作业的时候，此参数为容器环境变量。详细请参见表4 spec_id 是 Long 训练作业选择的资源规格ID。请从查询作业资源规格接口获取资源规格ID。 data_url 否 String
gface.co/datasets/mit-han-lab/pile-val-backup，注意需指定到val.jsonl的上一级目录。 详细说明可以参考vLLM官网：https://docs.vllm.ai/en/latest/quantization/auto_awq.html。
应用管理 > AI应用 > 创建”，开始创建AI应用。 图2 创建AI应用 设置创建AI应用的相应参数。此处仅介绍关键参数，设置AI应用的详细参数解释请参见从OBS中选择元模型。 根据需要自定义应用的名称和版本。 模型来源选择“从对象存储服务（OBS）中选择”，元模型选择转换后模
应用管理 > AI应用 > 创建”，开始创建AI应用。 图2 创建AI应用 设置创建AI应用的相应参数。此处仅介绍关键参数，设置AI应用的详细参数解释请参见从OBS中选择元模型。 根据需要自定义应用的名称和版本。 模型来源选择“从对象存储服务（OBS）中选择”，元模型选择转换后模
页面索引，默认是第1页。 -ps / --page-size Int 否 每页显示的训练作业数量，默认是10。 -v / --verbose Bool 否 显示详细的信息开关，默认关闭。 示例：查询指定任务ID的训练任务。 ma-cli ma-job get-job -i b63e90xxx 示例：根
构建。 使用预置框架 如果您需要使用自己开发的算法，可以选择使用ModelArts预置框架。ModelArts支持了大多数主流的AI引擎，详细请参见预置训练引擎。这些预置引擎预加载了一些额外的python包，例如numpy等；也支持您通过在代码目录中使用“requirements
odelArts完成创建训练作业。 连接Notebook开发环境。 创建或打开云端Ascend规格的Notebook。创建Notebook详细操作请参见创建Notebook实例，Notebook规格相关信息如下所示： “镜像”：tensorflow1.15-mindspore1.7
Terminating：停止中 Terminated：已停止 Abnormal：异常 secondary_phase String 训练作业二级状态为内部详细状态，可能会增加、修改、删除，不建议依赖。可选值如下： Creating：创建中 Queuing：排队中 Running：运行中 Failed：运行失败
Terminating：停止中 Terminated：已停止 Abnormal：异常 secondary_phase String 训练作业二级状态为内部详细状态，可能会增加、修改、删除，不建议依赖。可选值如下： Creating：创建中 Queuing：排队中 Running：运行中 Failed：运行失败
选择“ModelArts > Training Job > New...”。 图1 选择作业配置 在弹出的对话框中，设置训练作业相关参数，详细参数说明请参见表1。 表1 训练作业配置参数说明 参数 说明 Job Name 训练作业的名称。 系统会自动生成一个名称，您可以根据业务需求重新命名，命名规则如下：
用”，进入AI应用列表页面。 单击左上角的“创建应用”，进入“创建应用”页面。 在“创建应用”页面，填写相关参数。 填写AI应用基本信息，详细参数说明请参见表1。 表1 AI应用基本信息参数说明 参数名称 说明 名称 AI应用名称。支持1～64位可见字符（含中文），名称可以包含字母、中文、数字、中划线、下划线。
print(resp.status_code) print(resp.text) 模型服务的API与vLLM相同，表1仅介绍关键参数，详细参数解释请参见vLLM官网Sampling Parameters。 表1 请求参数说明 参数 是否必选 默认值 参数类型 描述 model
LTS专业日志管理功能，请参见云日志服务。 说明： “运行日志输出”开启后，不支持关闭。 LTS服务提供的日志查询和日志存储功能涉及计费，详细请参见了解LTS的计费规则。 请勿打印无用的audio日志文件，这会导致系统日志卡死，无法正常显示日志，可能会出现“Failed to load
Terminating：停止中 Terminated：已停止 Abnormal：异常 secondary_phase String 训练作业二级状态为内部详细状态，可能会增加、修改、删除，不建议依赖。可选值如下： Creating：创建中 Queuing：排队中 Running：运行中 Failed：运行失败
request of the model. - 正常 使用现有环境镜像。 Use cached env image. - 异常 构建镜像失败。详细信息请查看构建日志。 Failed to build the image. For details, view the building log
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
