检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
等待服务部署完成,当服务状态显示为“运行中”,表示服务已部署成功。 步骤六:预测结果 在“在线服务”页面,单击在线服务名称,进入服务详情页面。 单击“预测”页签,请求类型选择“multipart/form-data”,请求参数填写“image”,单击“上传”按钮上传示例图片,然后单击“预测”。
OBS-Python-SDK-3.1.2 原因分析 Pytorch通过spawn模式创建了多个进程,每个进程会调用多进程方式使用Mox下载数据。此时子进程会不断销毁重建,Mox也就会不断的被导入,导致打印很多Mox的版本信息。 处理方法 为避免训练作业Pytorch Mox日志反复输出的问题,需要您
修改驱动版本。在“驱动版本”下拉列表中指定驱动版本。 指定节点计费模式。用户增加节点数量时,可以打开“节点计费模式”开关,为资源池新扩容的节点设置不同于资源池的计费模式、购买时长和开启自动续费功能。例如用户可以在包周期的资源池中创建按需的节点。若用户不指定该参数,则新扩容的节点计费模式和资源池保持一致。 单击“提交
服务管理权限 表1 服务管理细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 部署模型服务 POST /v1/{project_id}/services modelarts:service:create - √ √ 查询模型服务列表 GET /v1/
releases/download/v1.7.6/nerdctl-1.7.6-linux-arm64.tar.gz # 将程序解压至运行目录中 tar -zxf nerdctl-1.5.0-linux-amd64.tar.gz -C /usr/bin/ # 查看是否安装成功 nerdctl
镜像复制开关,仅当“model_type”为“Image”时有效。 true:表示复制镜像模式,无法极速创建AI应用,SWR源目录中的镜像更改或删除不影响服务部署。 false:表示不复制镜像模式,可极速创建AI应用,更改或删除SWR源目录中的镜像会影响服务部署。 不设置值时,默认为复制镜像模式。 tenant
通常为了获取更好的推理性能,推荐使用方式2的离线推理。下文将以Diffusers img2img onnx pipeline为示例来讲解如何进行离线推理模式下的昇腾迁移。迁移的整体流程如下图所示: 图1 迁移流程图 父主题: 基于AIGC模型的GPU推理业务迁移至昇腾指导
重置节点后无法正常使用? 问题现象 当ModelArts Lite的CCE集群在资源池上只有一个节点,且用户设置了volcano为默认调度器时,在ModelArts侧进行重置节点的操作后,节点无法正常使用,节点上的POD会调度失败。 原因分析 在ModelArts侧进行节点重置后
'manylinux1_x86_64'), ('cp36', 'cp36m', 'linux_x86_64'), ('cp36', 'abi3', 'manylinux1_x86_64'), ('cp36', 'abi3', 'linux_x86_64'), ('cp36', 'none', 'manylinux1_x86_64')
在资源池列表中,选择某个资源池右侧操作列的“ > 设置作业类型”。 在“设置作业类型”弹窗中,选择需要设置的作业类型。 图1 设置作业类型 设置完成后,单击“确定”,启用作业类型。 父主题: 管理Standard专属资源池
练配置请参见分布式训练功能介绍。 作业优先级 使用专属资源池创建训练作业时,支持设置训练作业的优先级。取值为1~3,默认优先级为1,最高优先级为3。 默认用户权限可选择优先级1和2,配置了“设置作业为高优先级权限”的用户可选择优先级1~3。 如果训练作业长时间处于“等待中”的状态
如果是client数太多,尤其对于5G以上文件,OBS接口不支持直接调用,需要分多个线程分段复制,目前OBS侧服务端超时时间是30S,可以通过如下设置减少进程数。 # 设置进程数 os.environ['MOX_FILE_LARGE_FILE_TASK_NUM']=1 import
low。 删除后的Workflow无法恢复,请谨慎操作。 删除Workflow后,对应的训练作业和在线服务不会随之被删除,需要分别在“模型训练>训练作业”和“模型部署>在线服务”页面中手动删除任务。 父主题: 管理Workflow
说明 取值样例 服务设置 服务名称 自定义模型服务的名称。 参见表5 描述 部署模型服务的简介。 - 模型设置 部署模型 单击“选择模型”,从“我的模型”列表中选择需要部署的模型。 参见表5 资源设置 资源池类型 资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。
服务部署 自定义镜像模型部署为在线服务时出现异常 部署的在线服务状态为告警 服务启动失败 服务部署、启动、升级和修改时,拉取镜像失败如何处理? 服务部署、启动、升级和修改时,镜像不断重启如何处理? 服务部署、启动、升级和修改时,容器健康检查失败如何处理? 服务部署、启动、升级和修改时,资源不足如何处理?
Access 开发环境 对象存储服务OBS OBS Administrator 凭据管理服务CSMS CSMS ReadOnlyAccess 云审计服务CTS CTS Administrator 弹性云服务器ECS ECS FullAccess 容器镜像服务SWR SWR Administrator
IP部署了高防服务,以防大流量攻击。 ModelArts对存放关键数据的数据库部署了数据库安全服务。 云服务防抖动和遭受攻击后的应急响应/恢复策略 ModelArts服务具备租户资源隔离能力,避免单租户资源被攻击导致爆炸半径大,影响其他租户。 ModelArts服务具备资源池和隔
modelarts/billing.mode 否 String 计费模式,可选值如下: 0:按需计费 1:包周期计费 os.modelarts/period.num 否 String 包周期订购周期,比如2。当计费模式为包周期时该参数必传。 os.modelarts/period.type
s申请更多资源。 图5 报错信息 ECS、BMS节点创建失败? 查看资源池失败报错信息: 包含错误码,如:Ecs.0000时,可查看弹性云服务器 ECS_错误码查看详细的错误信息及处理措施。 包含错误码,如:BMS.0001时,可查看裸金属服务器 BMS_错误码查看详细的错误信息及处理措施。
冗余实例数:此规格设置的高可用冗余实例数量。冗余系数指的是冗余节点分布策略为step均分时,每个超节点内预留的冗余节点数量。 方式二:在资源池详情页的规格页签设置 图2 规格页签设置 图3 设置高可用冗余能力 方式三:在扩缩容页面设置 图4 设置高可用冗余能力 设置单节点为高可用冗余节点