检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤六 启动推理服务 进入容器。 docker exec -it -u ma-user ${container-name} /bin/bash 评估推理资源。运行如下命令,返回NPU设备信息可用的卡数。
命令说明 登录Gallery CLI配置工具后,使用命令“gallery-cli download --help”可以获取Gallery CLI配置工具下载文件的帮助信息。
方式一:使用ma-cli image register命令来注册镜像。注册命令会返回注册好的镜像信息,包括镜像id,name等,如下图所示。该命令的更多信息可参考镜像构建命令。
启动DevServer实例 功能介绍 启动DevServer实例。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
配置kubectl工具 kubectl是Kubernetes集群的命令行工具,配置kubectl后,您可通过kubectl命令操作Kubernetes集群。本文介绍如何配置kubectl工具,操作步骤如下。
执行如下命令查看环境中的cuda版本。 ll /usr/local | grep cuda 举例: 图1 查看当前环境的cuda版本 如图1所示,当前环境中cuda版本为10.2 父主题: Standard Notebook
在VS Code Terminal里执行如下命令检测SSH命令是否可用; ssh -i <密钥相对路径> -p <端口> ma-user@<域名/ip> SSH可用时跳过3继续远端排查。 SSH不可用,排查3。 在VS Code Terminal里执行如下检查网络。
运行如下命令,返回NPU设备信息可用的卡数。 npu-smi info # 启动推理服务之前检查卡是否被占用、端口是否被占用,是否有对应运行的进程 如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。
此时可以在Terminal里使用命令行打开checkpoints,或者新建文件夹将checkpoints里的数据移动到新的文件夹下。 图1 JupyterLab浏览器左侧导航无法打开checkpoints 操作步骤: 打开Terminal,用命令行进行操作。
图1 查询创建的虚拟环境 解决方案 在Terminal中执行conda deactivate命令退出当前虚拟环境,默认进入base环境。执行pip list命令查询已安装的包,然后安装需要的依赖进行保存,最后切换至指定的虚拟环境后再运行脚本。 父主题: 环境配置故障
“启动命令” 指定模型的启动命令,您可以自定义该命令。 说明: 包含字符$,|,>,<,`,!,\n,\,?,-v,--volume,--mount,--tmpfs,--privileged,--cap-add的启动命令,在模型发布时将会置空。
您可以直接使用benchmark命令测试mindir模型性能,用来对比调优前后性能是否有所提升。
响应参数 无 请求示例 PUT https://{endpoint}/v1/{project_id}/services/{service_id}/nodes/{node_id}/status { "status" : "running" } 响应示例 状态码:200 启动停止边缘节点成功
图1 在ECS中执行登录指令 Step2 上传镜像到SWR 此小节介绍如何上传镜像至容器镜像服务SWR的镜像仓库。 登录SWR后,使用docker tag命令给上传镜像打标签。
操作命令中的AK/SK要替换为用户实际获取的AK/SK,Endpoint可以参考终端节点(Endpoint)和访问域名获取。 父主题: 基本配置
执行以下命令,下载代码。 git clone https://github.com/facebookresearch/DiT.git cd Dit 执行以下命令,安装依赖项。
服务启动后,状态断断续续处于“告警中” 问题现象 预测流量不大但频繁出现以下报错 Backend service internal error.
在ModelArts的Notebook中实例重新启动后要怎么连接?
docker和linux的文件交互命令如下: docker cp data/ 39c9ceedb1f6:/cache/ 数据准备完成后,启动训练的脚本,查看训练是否能够正常拉起。
服务部署、启动、升级和修改时,资源不足如何处理? 问题现象 启动服务失败,报错:资源不足,服务调度失败。(Schedule failed due to insufficient resources.