检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查项出现故障时,隔离故障硬件并重新下发训练作业。针对于分布式场景,容错检查会检查本次训练作业的全部计算节点。 推理部署故障恢复 用户部署的在线推理服务运行过程中,如发生硬件故障导致推理实例故障,ModelArts会自动检测到并迁移受影响实例到其它可用节点,实例启动后恢复推理请求处
rk目录下,该目录下的内容在实例停止后会被保留。可以自定义磁盘空间,如果需要存储数据集、模型等大型文件,建议申请规格300GB+。存储支持在线按需扩容。 图2 自定义存储配置 使用Notebook将OBS数据导入云硬盘EVS 打开已创建的Notebook实例,选择Notebook的python-3
rk目录下,该目录下的内容在实例停止后会被保留。可以自定义磁盘空间,如果需要存储数据集、模型等大型文件,建议申请规格300GB+。存储支持在线按需扩容。 图2 自定义存储配置 使用Notebook将OBS数据导入云硬盘EVS 打开已创建的Notebook实例,选择Notebook的python-3
rk目录下,该目录下的内容在实例停止后会被保留。可以自定义磁盘空间,如果需要存储数据集、模型等大型文件,建议申请规格300GB+。存储支持在线按需扩容。 图2 自定义存储配置 使用Notebook将OBS数据导入云硬盘EVS 打开已创建的Notebook实例,选择Notebook的python-3
ork目录下,该目录下的内容在实例停止后会被保留。可以自定义磁盘空间,若需要存储数据集、模型等大型文件,建议申请规格300GB+。存储支持在线按需扩容。 图2 自定义存储配置 使用Notebook将OBS数据导入云硬盘EVS 打开已创建的Notebook实例,选择Notebook的python-3
介绍如何在Notebook中配置NPU环境,部署并启动推理服务,完成精度测试和性能测试。 在推理生产环境中部署推理服务 介绍如何在创建AI应用,部署并启动推理服务,在线预测在线服务。 父主题: 主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.905)
侧展开版本列表,当订阅模型的版本列表的状态显示为“就绪”时表示模型可以使用。 图1 进入“我的订阅” 在展开的版本列表中,单击“部署 > 在线服务”跳转至部署页面。 图2 部署模型 如果您选择部署的是商用模型,则选择服务类型后会弹出“修改配额”窗口,根据需要选择配额后单击“确定”即可跳转至“部署”页面。
作业”页面,检查是否有“运行中”的训练作业。如果有,单击该作业列表右方操作下的“停止”即可停止计费。 进入“ModelArts>部署上线>在线服务”页面,检查是否有“运行中”的推理作业。如果有,单击该作业列表右方操作下的“停止”即可停止计费。 进入“ModelArts>部署上线>
rk目录下,该目录下的内容在实例停止后会被保留。可以自定义磁盘空间,如果需要存储数据集、模型等大型文件,建议申请规格300GB+。存储支持在线按需扩容。 图2 自定义存储配置 使用Notebook将OBS数据导入云硬盘EVS 打开已创建的Notebook实例,选择Notebook的python-3
性,屏蔽了大量AI模型开发使用过程中的技术细节,并制定了统一合理的规范。使用者可以便捷地使用、下载模型。同时支持用户上传自己的预训练模型到在线模型资产仓库中,并发布上架给其他用户使用。AI Gallery在原有Transformers库的基础上,融入了对于昇腾硬件的适配与支持。对
总览Workflow 获取Workflow统计信息。 查询Workflow待办事项 获取Workflow待办列表。 在线服务鉴权 计费工作流在线主服务鉴权。 创建在线服务包 计费工作流购买资源。 表2 WorkflowExecution API 说明 获取Execution列表 查询Workflow下的执行记录列表。
访问Notebook SSH:可以通过SSH协议远程连接Notebook AI_FLOW MA_STUDIO TENSOR_BOARD WEB_IDE extensions Map<String,String> 通过应用专属URL直接打开应用进入远程开发模式。 ssh_keys Array
访问Notebook SSH:可以通过SSH协议远程连接Notebook AI_FLOW MA_STUDIO TENSOR_BOARD WEB_IDE extensions Map<String,String> 通过应用专属URL直接打开应用进入远程开发模式。 ssh_keys Array
息进行升级。 约束限制 服务升级关系着业务实现,不当的升级操作会导致升级期间业务中断的情况,请谨慎操作。 ModelArts支持部分场景下在线服务进行无损滚动升级。按要求进行升级前准备,做好验证,即可实现业务不中断的无损升级。 表1 支持无损滚动升级的场景 创建模型的元模型来源 服务使用的是公共资源池
ebook实例。 训练作业:训练作业运行时会收取费用,使用完请及时停止训练作业。同时,也需清理存储到OBS中的数据。 模型部署:模型部署为在线服务、边缘服务时,会收取费用,使用完请及时停止服务。同时,也需清理存储到OBS中的数据。 专属资源池:在使用ModelArts进行AI全流
例如TensorFlow、PyTorch等,但是实际开发中,通常还需要安装其他依赖包,此时可以通过Terminal连接到环境里操作。 单击工具栏“Tools >Start SSH session”,选择SSH Configuration中配置的开发环境。可以执行pip install安装所需要的包。
String 服务ID。 表2 Query参数 参数 是否必选 参数类型 描述 update_time 否 Number 待过滤的更新时间,查询在线服务更新日志可使用,可准确过滤出某次更新任务;默认不过滤。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
"value": "工具参数" }, { "from": "observation", "value": "工具结果" },
"value": "工具参数" }, { "from": "observation", "value": "工具结果" },
"value": "工具参数" }, { "from": "observation", "value": "工具结果" },