检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接远端开发环境时，一直处于"Setting up SSH Host xxx: Copying VS Code Server to host with scp"超过10分钟以上，如何解决？ 问题现象 原因分析 通过查看日志发现本地vscode-scp-done.flag显示成功上传，但远端未接收到。 解决方法 关闭VS
linux-amd64.tar.gz tar -zxvf grafana-9.1.6.linux-amd64.tar.gz 将Grafana注册到jupyter-server-proxy。 在JupyterLab Terminal中执行以下命令： mkdir -p /home/ma-user/
训练作业日志中提示“No module named .*” 如何安装第三方包，安装报错的处理方法 下载代码目录失败 训练作业日志中提示“No such file or directory” 训练过程中无法找到so文件 ModelArts训练作业无法解析参数，日志报错 训练输出路径被其他作业使用 PyTorch1
提交创建训练作业后，训练过程中，训练作业的节点可通过域名+端口的方式SSH连接到其他节点，示例代码如下所示： ssh modelarts-job-a0978141-1712-4f9b-8a83-000000000000-worker-1 -p $MY_SSHD_PORT 父主题： 准备模型训练代码
0.0.0:29500 (errno: 98 - Address already in use).”。 原因：训练作业的端口号有冲突。 处理建议：更改代码中的端口号，重启训练作业。 查看训练作业的“日志”，出现报错“WARNING: root: Retry=7, Wait=0.4,
i.com不通过公网代理，huaweicloud.com域名在no_proxy/NO_PROXY中包含，就访问不了。 解决方式 执行以下命令查看在no_proxy/NO_PROXY中是否包含huaweicloud.com域名。 env | grep -i no_proxy 如果包
本文以TFServing框架、Triton框架为例，介绍如何迁移到推理自定义引擎。 TensorFlow Serving是一个灵活、高性能的机器学习模型部署系统，提供模型版本管理、服务回滚等能力。通过配置模型路径、模型端口、模型名称等参数，原生TFServing镜像可以快速启动提供服务，并支持gRPC和HTTP
(publickey)”如何解决 报错“ssh: connect to host xxx.pem port xxxxx: Connection refused”如何解决？ 报错"ssh: connect to host ModelArts-xxx port xxx: Connection
processes”或“Buildimge,False,Error response from daemon，Cannot pause container xxx”如何解决？ 问题现象 在Notebook里保存镜像时报错“there are processes in 'D' status, please check
元模型来源：注意此处选择“从容器镜像选择”。 容器镜像所在路径：单击文件夹标签，选择已经制作好的镜像。 容器调用接口参数：根据镜像实际提供的协议和端口填写，本案例中的SDXL镜像提供HTTP服务和8183端口。 图4 填写参数（1） 系统运行架构： 选择ARM. 推理加速卡：无。 部署类型： 在线服务。 请求模式：同步请求。
# 第三方依赖 目前性能测试已经支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在Step4 制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。
# 第三方依赖 目前性能测试已经支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在步骤四 制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。
时指定的profile。 注册新镜像 构建完成后，将新镜像注册到ModelArts镜像管理服务中，进而能够在ModelArts中使用该镜像。 有两种方式来注册镜像。 方式一：使用ma-cli image register命令来注册镜像。注册命令会返回注册好的镜像信息，包括镜像id
型界面上配置的端口。确认两处端口保持一致。模型创建界面如果不填端口信息，则ModelArts会默认监听8080端口，即镜像代码中启用的端口必须是8080。 图2 自定义镜像中的代码开放的端口 图3 创建模型界面上配置的端口 健康检查配置有问题 镜像如果配置了健康检查，服务启动失败，从以下两个方面进行排查：
推理精度测试 本章节介绍如何进行推理精度测试，建议在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。若需要在生产环境中进行推理精度测试，请通过调用接口的方式进行测试。 Step1 执行精度测试 精度测试需要数据集进行测试。推荐公共数据集mmlu
式的第三方组件可通过API http://<节点IP>:<端口号>/metrics获取ModelArts采集到的指标数据。 开通前需要确认使用的端口号，端口号可选取10120~10139范围内的任一端口号，请确认选取的端口号在各个节点上都没有被其他应用占用。 Kubernetes
ndspore、openai等。本文档使用的推理接口是vllm。 --host：服务IP地址，如127.0.0.1。 --port：服务端口，和推理服务端口8080。 --url：如果以vllm接口方式启动服务，API接口公网地址与"/generate"拼接而成；如果以opena
ndspore、openai等。本文档使用的推理接口是vllm。 --host：服务IP地址，如127.0.0.1。 --port：服务端口，和推理服务端口8080。 --url：如果以vllm接口方式启动服务，API接口公网地址与"/generate"拼接而成；如果以opena
# 第三方依赖 目前性能测试已经支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在Step3 制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。
Manifest管理 Manifest管理概述 解析Manifest文件 创建和保存Manifest文件 解析Pascal VOC文件 创建和保存Pascal VOC文件 父主题： 数据管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
