检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可以在创建训练作业页面添加标签,也可以在已经创建完成的训练作业详情页面的“标签”页签中添加标签。 在ModelArts的在线服务中添加标签。 可以在创建在线服务页面添加标签,也可以在已经创建完成的在线服务详情页面的“标签”页签中添加标签。 在ModelArts的专属资源池中添加标签。 可以在创建ModelArts
配置授权 功能介绍 配置ModelArts授权。若没有授权,ModelArts训练管理、开发环境、数据管理、在线服务等功能将不能正常使用。该API支持管理员给IAM子用户设置委托,支持设置当前用户的访问密钥。调用该API需要在IAM系统里配置Security Administrator权限。
出现ModelArts.XXXX类型的报错,表示请求在Dispatcher出现问题而被拦截。 常见报错: 在线服务预测报错ModelArts.4302 在线服务预测报错ModelArts.4206 在线服务预测报错ModelArts.4503 当使用推理的镜像并且出现MR.XXXX类型的错误时
绪”时表示模型可以使用。 步骤3:使用订阅模型部署在线服务 模型订阅成功后,可将此模型部署为在线服务 在展开的版本列表中,单击“部署 > 在线服务”跳转至部署页面。 在部署页面,参考如下说明填写关键参数。 “名称”:自定义一个在线服务的名称,也可以使用默认值,此处以“商超商品识别服务”为例。
示模型可以使用。 步骤三:使用订阅模型部署在线服务 模型订阅成功后,可将此模型部署为在线服务 在展开的版本列表中,单击“部署 > 在线服务”跳转至部署页面。 图2 部署模型 在部署页面,参考如下说明填写关键参数。 “名称”:自定义一个在线服务的名称,也可以使用默认值,此处以“商超商品识别服务”为例。
检测项目 item(日志关键字) 执行条件 检测成功要求 域名检测 dns 无 volcano容器的域名都解析成功(/etc/volcano下的“.host”文件中的域名解析成功) 磁盘空间-容器根目录 disk-size root 无 大于32GB 磁盘空间-/dev/shm目录
将获取到的Wav2Lip Ascend软件包AscendCloud-AIGC-*.zip文件上传到容器的/home/ma-user目录下。获取路径:Support网站。 解压AscendCloud-AIGC-*.zip文件,解压后将里面指定文件与对应Wave2Lip文件进行替换。 cd /home/ma-user
buildkitd(服务端):负责镜像构建,目前支持runc和containerd作为镜像构建环境,默认是runc。 buildkitctl(客户端):负责解析Dockerfile文件,并向服务端buildkitd发出构建请求。 下载并解压buildkit程序。 # 下载 buildkit 工具,注意使用的是0
OBS复制过程中提示“BrokenPipeError: Broken pipe” 问题现象 训练作业在使用MoXing复制数据时,日志中出现报错“BrokenPipeError: [Errno xx] Broken pipe”。 原因分析 出现该问题的可能原因如下: 在大规模分布
pipeline代码适配 onnx pipeline的主要作用是将onnx模型进行一系列编排,并在onnx Runtime上按照编排顺序执行。因此,需要将转换得到的mindir模型按照相同的逻辑进行编排,并在MindSpore Lite上执行。只需要将原始onnx的pipelin
部署模型 部署服务 ModelArts支持将模型部署为在线服务、批量服务和边缘服务。 部署为在线服务 部署为批量服务 访问服务 服务部署完成后,针对在线服务和边缘服务,您可以访问并使用服务,针对批量服务,您可以查看其预测结果。 访问在线服务 查看批量服务预测结果
在MaaS体验模型服务 在ModelArts Studio大模型即服务平台,运行中的模型服务可以在“模型体验”页面在线体验模型服务的推理效果。 前提条件 在“模型部署”的服务列表存在“运行中”的模型服务。 操作步骤 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts
false:不导出图片到版本输出目录(默认值) extract_serial_number Boolean 发布时是否需要解析子样本序号,用于医疗数据集。可选值如下: true:解析子样本序号 false:不解析子样本序号(默认值) include_dataset_data Boolean 发布时是否包含数据集源数据。可选值如下:
若权重文件大于60G,创建AI应用会报错,提示模型大于60G,请提工单扩容。 Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务,用于推理调用。 在ModelArts控制台,单击“模型部署 > 在线服务 > 部署”,开始部署在线服务。 设置部署服务名称,选择Step2 部署模型中创建的
更新模型服务的单个属性 功能介绍 更新模型服务的单个属性,目前只支持instance_count(更新模型服务实例数量),仅运行中、告警、异常状态下的在线服务可以执行该操作。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
约束限制 创建在线服务时,每秒服务流量限制默认为100次,若静态benchmark的并发数(parallel-num参数)或动态benchmark的请求频率(request-rate参数)较高,会触发推理平台的流控,请在ModelArts Standard“在线服务”详情页修改服务流量限制。
型大于60G,请提工单扩容。 Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务,用于推理调用。 在ModelArts控制台,单击“部署上线 > 在线服务 > 部署”,开始部署在线服务。 图5 部署在线服务 设置部署服务名称,选择Step2 部署模
SDK,则需要在本地环境中安装ModelArts SDK,安装后可直接调用ModelArts SDK轻松管理数据集、创建ModelArts训练作业及创建AI应用,并将其部署为在线服务。 ModelArts SDK使用限制 本地ModelArts SDK不支持进行训练作业调测、模型调试和在开发环境中部署本地服务进行调
模型镜像。 服务运维阶段,先利用镜像构建模型,接着部署模型为在线服务,然后可在云监控服务(CES)中获得ModelArts推理在线服务的监控数据,最后可配置告警规则实现实时告警通知。 业务运行阶段,先将业务系统对接在线服务请求,然后进行业务逻辑处理和监控设置。 图1 推理服务的端到端运维流程图
删除Workflow工作流 查询Workflow工作流 修改Workflow工作流 总览Workflow工作流 查询Workflow待办事项 在线服务鉴权 创建在线服务包 获取Execution列表 新建Workflow Execution 删除Workflow Execution 查询Workflow