检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 驱动版本要求是23.0.6。如果不符合要求请参考安装固件和驱动章节升级驱动。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。
用户VPC：安装和配置正向代理 在安装正向代理前，需要先购买一台弹性云服务器ECS（镜像可选择Ubuntu最新版本），并配置好弹性EIP，然后登录ECS进行正向代理Squid的安装和配置，步骤如下： 如果没有安装Docker，执行以下命令进行Docker安装 curl -sSL
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 驱动版本要求是23.0.5。如果不符合要求请参考安装固件和驱动章节升级驱动。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。
部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 前提条件 已准备好Lite k8s Cluster环境，具体参考准备环境。推荐使用“西南-贵阳一”Region上的Cluster和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保集群可以访问公网。
自动学习中部署上线是将模型部署为什么类型的服务？ 自动学习中部署上线是将模型部署为在线服务，您可以添加图片或代码进行服务测试，也可以使用URL接口调用。 部署成功后，您也可以在ModelArts管理控制台的“部署上线 > 在线服务”页面中，查看到正在运行的服务。您也可以在此页面停止服务或删除服务。
使用预置AI算法部署在线服务报错gunicorn：error：unrecorgized arguments 问题现象 使用预置AI算法部署在线服务报错gunicorn：error：unrecorgized arguments... 图1 在线服务报错 原因分析 根据报错日志分析，
服务的即时可用性，开发者无需经历繁琐的环境配置步骤，即可直观感受模型效果，快速尝鲜大模型，真正达到“即时接入，即时体验”的效果。 当开发者对希望对模型进行开发和训练，AI Gallery为零基础开发者，提供无代码开发工具，快速推理、部署AI应用；为具备基础代码能力的开发者，AI
部署上线失败 出现此问题，一般是因为后台服务故障导致的，建议稍等片刻，然后重新部署在线服务。如果重试超过3次仍无法解决，请获取如下信息，并联系华为云技术支持协助解决故障。 获取服务ID。 进入“部署上线>在线服务”页面，在服务列表中找到自动学习任务中部署的在线服务，自动学习部署的
登录ModelArts控制台，管理控制台，在左侧导航栏中选择“权限管理”，单击“查看权限”，检查是否配置了obs的委托权限。 图1 查看权限 如果检查后已经存在委托，但是仍然无法访问，可以提工单寻求技术支持。 父主题： 服务部署
成网络配置、高级配置等步骤，可根据默认选择，或进行自定义。创建完成后，单击“远程登录”，后续安装Docker等操作均在该ECS上进行。 注意：CPU架构必须选择鲲鹏计算，镜像推荐选择EulerOS。 图1 购买ECS Step2 安装Docker 检查docker是否安装。 docker
边缘服务 什么是边缘节点？ 更新AI应用版本时，边缘服务预测功能不可用？ 使用边缘节点部署边缘服务能否使用http接口协议？ 父主题： 部署上线
使用AI市场物体检测YOLOv3_Darknet53算法训练后部署在线服务报错 问题现象 使用AI市场物体检测YOLOv3_Darknet53算法进行训练，将数据集切分后进行部署在线服务报错，日志如下：TypeError: Cannot interpret feed_dict key
成网络配置、高级配置等步骤，可根据默认选择，或进行自定义。创建完成后，单击“远程登录”，后续安装Docker等操作均在该ECS上进行。 注意：CPU架构必须选择鲲鹏计算，镜像推荐选择EulerOS。 图1 购买ECS Step2 安装Docker 检查docker是否安装。 docker
自动学习使用子账号单击开始训练出现错误Modelarts.0010 用主账号给子账号配置ModelArts所使用的OBS桶的ACL权限即可。 父主题： 模型训练
实时推理的部署及使用流程 在创建完模型后，可以将模型部署为一个在线服务。当在线服务的状态处于“运行中”，则表示在线服务已部署成功，部署成功的在线服务，将为用户提供一个可调用的API，此API为标准Restful API。访问在线服务时，您可以根据您的业务需求，分别确认使用何种认证
Standard推理部署 ModelArts Standard推理服务访问公网方案 端到端运维ModelArts Standard推理服务方案 使用自定义引擎在ModelArts Standard创建AI应用 使用大模型在ModelArts Standard创建AI应用部署在线服务 第三方推理框架迁移到ModelArts
Connection timed out"如何解决？ 问题现象 原因分析 原因分析一：实例配置的白名单IP与本地网络访问IP不符。 解决方法：请修改白名单为本地网络访问IP或者去掉白名单配置。 原因分析二：本地网络不通。 解决方法：检查本地网络以及网络限制。 父主题： VS Code连接开发环境失败常见问题
Connection timed out"如何解决？ 问题现象 原因分析 原因分析一：实例配置的白名单IP与本地网络访问IP不符。 解决方法：请修改白名单为本地网络访问IP或者去掉白名单配置。 原因分析二：本地网络不通。 解决方法：检查本地网络以及网络限制。 父主题： VS Code连接开发环境失败故障处理
内存不足如何处理？ 问题现象 在部署或升级在线服务时，如果部署或升级失败，并且在事件中出现如下类似提示。 图1 内存不足提示样例1 运行中服务出现告警时，在事件中出现建议：内存不足，请增加内存。 图2 内存不足提示样例2 原因分析 部署或升级时出现该提示，可能原因是选择的计算节点
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
