检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务部署 自定义镜像模型部署为在线服务时出现异常 部署的在线服务状态为告警 服务启动失败 服务部署、启动、升级和修改时,拉取镜像失败如何处理? 服务部署、启动、升级和修改时,镜像不断重启如何处理? 服务部署、启动、升级和修改时,容器健康检查失败如何处理? 服务部署、启动、升级和修改时,资源不足如何处理?
connection refused. " 出现该报错有两种情况: 流量超过了模型的处理能力。可以考虑降低流量或者增加模型实例数量。 镜像自身有问题。需要单独运行镜像确保镜像本身能正确提供服务。 "error_msg":"Due to self protection, the backend service
登录ModelArts-Console 在ModelArts中,一般用户使用数据标注功能,直接是在“数据标注”模块操作,此模块包含数据标注、数据导入导出、智能标注、团队标注和管理等。团队标注任务创建成功后,团队成员登录ModelArts-Console查看相关任务。 团队标注任务创建成功后,团队成员收到标注任务的邮件。
属资源池。 准备权重 准备对应模型的权重文件。 准备代码 准备AscendCloud-6.3.906-xxx.zip。 准备镜像 准备推理模型适用的容器镜像。 准备Notebook 本案例在Notebook上部署推理服务进行调试,因此需要创建Notebook。 部署推理服务 在Notebook调试环境中部署推理服务
准备工作 准备环境 准备代码 准备镜像环境 DockerFile构建镜像(可选) 准备数据(可选) 父主题: 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导(6.5.901)
单机单卡 线下容器镜像构建及调试 上传镜像 上传数据和算法至OBS(首次使用时需要) 使用Notebook进行代码调试 创建训练任务 监控资源 父主题: 调试与训练
描述 name 否 String 操作系统名称。 imageId 否 String 操作系统镜像id。 imageType 否 String 操作系统镜像类型。 private:私有镜像。 表11 network 参数 是否必选 参数类型 描述 name 是 String 网络名称,即网络详情中的metadata
如果是发布ModelArts模型,已经在ModelArts的“AI应用管理”中准备好待发布的模型。在“AI应用管理”界面创建或发布模型的相关操作请参见管理AI应用简介。使用容器镜像导入的模型和其他训练产生的模型都支持发布至AI Gallery。 如果是发布HiLens技能,已经在HiLens技能管理中准备好待发布的技能。发布技能的相关操作请参见发布技能。
- image: swr.xxxxxx.com/xxxx/custom_pytorch_npu:v1 # 镜像地址,根据实际场景修改 imagePullPolicy: IfNotPresent
但是开启后也会引起soft lockup机制导致节点重启。关闭表示不使用大页内存功能。 单击镜像预热的图标,可以设置镜像来源、添加镜像密钥、添加镜像预热配置,具体操作请参见(可选)配置镜像预热。 更多相关操作 其它更多操作如下: 节点池管理操作请参见管理Lite Cluster节点池
性越大。 图1 推理服务升级流程 推理服务更新升级的具体操作请参见升级服务。 镜像更新升级 ModelArts包含开发环境、训练管理、推理部署三个功能模块,三个模块采用统一的流程提供基础镜像。这些镜像会不定期更新升级,修复已知漏洞。 父主题: 安全
使用ModelArts PyCharm插件调试训练ResNet50图像分类模型 示例:从 0 到 1 制作自定义镜像并用于训练(PyTorch+CPU/GPU) 示例:从 0 到 1 制作自定义镜像并用于训练(MPI+CPU/GPU) 使用ModelArts Standard一键完成商超商品识别模型部署
租户不可见域名:指华为云服务在内网相互调用使用的域名,外部用户无法访问到对应的权威DNS服务器;或者Internet受限访问域名,只允许华为办公网络黄&绿区华为员工及合作方或外包人员访问的域名。 华为云基础域名安全使用,避免直接为租户分配基础域名。 华为云服务在内网互相调用使用的域名,避免使用外部已备案域名。 所有
误后,单击“提交”。 部分配置项说明如下。关于配置项的更多信息,请参见创建Notebook实例。 表1 配置项说明 配置项 说明 镜像 选择“公共镜像”,然后选择“mindspore_2.2.0-cann_7.0.1-py_3.9-euler_2.10.7-aarch64-snt9b”。
参数类型 描述 name String 操作系统名称。 imageId String 操作系统镜像id。 imageType String 操作系统镜像类型。 private:私有镜像。 表12 network 参数 参数类型 描述 name String 网络名称;用户接口通过
参数类型 描述 name String 操作系统名称。 imageId String 操作系统镜像id。 imageType String 操作系统镜像类型。 private:私有镜像。 表12 network 参数 参数类型 描述 name String 网络名称;用户接口通过
在同一区域,ModelArts通过OBS的API访问OBS中的文件属于内网通信,不消耗公网流量费。 如果是通过互联网从OBS下载数据到本地,这时候会产生OBS公网流量费。OBS的详细计费说明可以参见计费项。 父主题: API/SDK
有root权限,结合配置指导、初始化工具及容器镜像可以快速搭建昇腾开发环境。 开通裸金属服务器资源请参见DevServer资源开通,在裸金属服务器上搭建迁移环境请参见裸金属服务器环境配置指导,使用ModelArts提供的基础容器镜像请参见容器环境搭建。 训练代码迁移 前提条件 要
属资源池。 准备权重 准备对应模型的权重文件。 准备代码 准备AscendCloud-6.3.908-xxx.zip。 准备镜像 准备推理模型适用的容器镜像。 准备Notebook 本案例在Notebook上部署推理服务进行调试,因此需要创建Notebook。 部署推理服务 在Notebook调试环境中部署推理服务
批量任务输出结果的OBS路径。 req_uri 是 String 批量任务中调用的推理接口,即模型镜像中暴露的REST接口,需要从模型的config.json文件中选取一个api路径用于此次推理;如使用ModelArts提供的预置推理镜像,则此接口为“/”。 mapping_type 是 String 输入