检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2800-2a95df3 CANN：cann_8.0.rc3 Step1 创建ECS 下文中介绍如何在ECS中构建一个推理镜像，请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤，可根据默认选择，或进行自定义。创建完成后，单击“远程登录”，后续安装Docker等操作均在该ECS上进行。
ma-user@<域名/ip> SSH可用时跳过3继续远端排查。 SSH不可用，排查3。 在VS Code Terminal里执行如下检查网络。如果网络异常，请执行命令检查端口。 curl -kv telnet://<域名/ip>:<port> 端口有问题，请联系技术支持。 端口无问题请继续远端排查。
├── requirements.txt # 第三方依赖 目前性能测试已经支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在步骤四 制作推理镜像步骤中已经上传过AscendCloud-LLM-x
String 指定资源池节点的容器引擎空间大小。 表10 network 参数 是否必选 参数类型 描述 name 是 String 网络名称，即网络详情中的metadata.name字段的值。用户接口通过指定网络名称创建网络，系统会自动创建子网，用户无法创建子网。默认将创建在第一个子网下。
p文件并上传到指定的obs_path中。 向ModelArts训练服务提交自定义镜像训练作业，使用的镜像为当前Notebook的镜像，这样保证了远程训练作业和在Notebook中的训练作业使用的运行环境一致。 训练任务得到的输出上传到4指定的obs_path中，日志上传到这一步log_url指定的位置中。
产品变更公告 网络调整公告
customize_service.py依赖的其他文件可以直接放model目录下，需要采用绝对路径方式访问。绝对路径获取请参考绝对路径如何获取。 ModelArts针对多种引擎提供了样例及其示例代码，您可以参考样例编写您的配置文件和推理代码，详情请参见ModelArts样例列
项”、“到期不续费项”页签查询全部待续费资源，对资源进行手动续费的操作。 所有需手动续费的资源都可归置到“手动续费项”页签，具体操作请参见如何恢复为手动续费。 手动续费资源。 单个续费：在资源页面找到需要续费的资源，单击操作列的“续费”。 图1 单个续费 批量续费：在资源页面勾选
CANN：cann_8.0.rc2 PyTorch：2.1.0 Step1 创建ECS 下文中介绍如何在ECS中构建一个训练镜像，请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤，可根据默认选择，或进行自定义。创建完成后，单击“远程登录”，后续安装Docker等操作均在该ECS上进行。
）导入CV2模型包。 处理方法 需要您把CV2包制作为自定义镜像，上传至容器镜像服务（SWR），选择从容器镜像中导入元模型，部署在线服务。如何制作自定义镜像请参考从0-1制作自定义镜像并创建AI应用。 父主题： 服务部署
在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。
FAQ 使用ModelArts时提示“权限不足”，如何解决？ 父主题： Standard权限管理
JupyterLab插件故障 git插件密码失效如何解决？ 父主题： 开发环境（新版Notebook）
步骤一 检查环境 请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使
Clone仓库成功 异常处理 Clone仓库失败。可能是网络原因问题。可以在JupyterLab的Terminal中通过执行git clone https://github.com/jupyterlab/extension-examples.git测试网络连通情况。 图6 Clone仓库失败 如
Lite Server资源配置 Lite Server资源配置流程 配置Lite Server网络 配置Lite Server存储 配置Lite Server软件环境
Lite Cluster资源配置 Lite Cluster资源配置流程 配置Lite Cluster网络 配置kubectl工具 配置Lite Cluster存储 （可选）配置驱动 （可选）配置镜像预热
常见问题 模型转换报错如何查看日志和定位？ 日志提示Compile graph failed 日志提示Custom op has no reg_op_name attr 父主题： GPU推理业务迁移至昇腾的通用指导
服务启动失败，提示拉取镜像失败，请参考服务部署、启动、升级和修改时，拉取镜像失败如何处理？ 资源不足，服务调度失败 服务启动失败，提示资源不足，服务调度失败，请参考服务部署、启动、升级和修改时，资源不足如何处理？ 内存不足 服务启动失败，提示内存不足，请参考内存不足如何处理？ 父主题： 服务部署
Lite Cluster Cluster资源池如何进行NCCl Test？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
