检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据需要自定义应用的名称和版本。 模型来源选择“从对象存储服务（OBS）中选择”，元模型选择转换后模型的存储路径，AI引擎选择“Custom”，引擎包选择准备镜像中上传的推理镜像。 系统运行架构选择“ARM”。 图3 设置AI应用 单击“立即创建”开始AI应用创建，待应用状态显示“正常”即完成AI应用创建。
Notebook开发环境支持“tf.keras”。 如何查看Keras版本 在ModelArts管理控制台，创建一个Notebook实例，镜像选择“TensorFlow-1.13”或“TensorFlow-1.15”。 打开Notebook，在JupyterLab中执行!pip list查看Keras的版本。
算法的代码启动文件，需要在代码目录下。如：“/usr/app/boot.py”。应与code_dir一同出现。 command 否 String 自定义镜像算法的容器启动命令。 parameters 否 Array of Parameters objects 算法的运行参数。 inputs 否
根据需要自定义应用的名称和版本。 模型来源选择“从对象存储服务（OBS）中选择”，元模型选择转换后模型的存储路径，AI引擎选择“Custom”，引擎包选择准备镜像中上传的推理镜像。 系统运行架构选择“ARM”。 图3 设置AI应用 单击“立即创建”开始AI应用创建，待应用状态显示“正常”即完成AI应用创建。
sh脚本一键适配。在用户通过Dockerfile构建模型的环境镜像时会执行该脚本，这会从github上拉取模型的官方源码，并通过git apply qwen-vl.patch的方式进行NPU适配，最后将以上源码和环境打包至镜像中。 AscendCloud-AIGC-6.3.912-xxx
算法的代码启动文件，需要在代码目录下。如：“/usr/app/boot.py”。应与code_dir一同出现。 command 否 String 自定义镜像算法的容器启动命令。 parameters 否 Array of Parameters objects 算法的运行参数。 inputs 否
report2Aom(request,region) 在训练代码中加入命令，用于加载对应的依赖包。如果使用的是自定义镜像，也可以在制作镜像时安装以下依赖，具体参见开发用于自定义镜像训练的代码。 pip install huaweicloudsdkaom pip install huaweicloudsdkcore
${container_name}：容器名称，此处可以自己定义一个容器名称，例如ascend-vllm。 ${image_name}：Step3 制作推理镜像构建的推理镜像名称。 ${node-path}：节点自定义目录，该目录下包含pod配置文件config.yaml和推理服务启动脚本run_vllm
${container_name}：容器名称，此处可以自己定义一个容器名称，例如ascend-vllm。 ${image_name}：Step3 制作推理镜像构建的推理镜像名称。 ${node-path}：节点自定义目录，该目录下包含pod配置文件config.yaml和推理服务启动脚本run_vllm
专属资源池的Ascend驱动版本需与训练基础镜像中的Cann软件版本版本匹配。 ModelArts上支持的Ascend驱动版本可以在ModelArts专属资源池（NEW）的详情页面查看到。ModelArts上支持的Cann软件版本可以在训练基础镜像详情页面查看，具体请参见训练基础镜像详情（Ascend-Powered-Engine）。
部署在线服务使用的模型是从容器镜像中导入时，容器调用接口协议填写错误，会导致此错误信息。 出于安全考虑，ModelArts提供的推理请求都是https请求，从容器镜像中选择导入模型时，ModelArts允许使用的镜像提供https或http服务，但必须在“容器调用接口”中明确指定该镜像使用的是https或http服务。如下图所示：
准备工作 准备环境 准备代码 准备镜像环境 DockerFile构建镜像（可选） 准备数据（可选） 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.3.911）
准备工作 准备环境 准备代码 准备镜像环境 DockerFile构建镜像（可选） 准备数据（可选） 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.3.912）
可以使用的属性为模型所在的本地路径，属性名为“self.model_path”。另外pyspark模型在“customize_service.py”中可以使用“self.spark”获取SparkSession对象。 推理代码中，需要通过绝对路径读取文件。模型所在的本地路径可以通过self
参数类型 说明 namespace String SWR组织名称，全局唯一。 image_name String 镜像名称。 image_tag String 镜像标签。 annotations Map<String,String> 注解信息，可扩展字段，缺省值为“NULL”。 表7
pem文件生成）。 单击“Open”。如果首次登录，PuTTY会显示安全警告对话框，询问是否接受服务器的安全证书。单击“Accept”将证书保存到本地注册表中。 图6 询问是否接受服务器的安全证书 成功连接到云上Notebook实例。 图7 连接到云上Notebook实例 父主题：
sh脚本一键适配。在用户通过Dockerfile构建模型的环境镜像时会执行该脚本，这会从github上拉取模型的官方源码，并通过git apply qwen-vl.patch的方式进行NPU适配，最后将以上源码和环境打包至镜像中。 AscendCloud-AIGC-6.3.912-xxx
属资源池。 准备权重 准备对应模型的权重文件。 准备代码 准备AscendCloud-6.3.907-xxx.zip。 准备镜像 准备推理模型适用的容器镜像。 准备Notebook 本案例在Notebook上部署推理服务进行调试，因此需要创建Notebook。 部署推理服务 在Notebook调试环境中部署推理服务
参数类型 说明 namespace String SWR组织名称，全局唯一。 image_name String 镜像名称。 image_tag String 镜像标签。 annotations Map<String,String> 注解信息，可扩展字段，缺省值为“NULL”。 表10
准备工作 准备环境 准备代码 准备镜像环境 DockerFile构建镜像（可选） 准备数据（可选） 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.3.910）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
