检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型训练完成后,可以启动模型的部署操作。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。 在“创建部署”页面,模型类型选择“科学计算大模型”,参考表1完成部署参数设置,启动模型部署。 表1
创建NLP大模型部署任务 模型训练完成后,可以启动模型的部署操作。 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。 在“创建部署”页面,模型类型选择“NLP大模
模型正在训练中,训练过程尚未结束。 训练失败 模型训练过程中出现错误,需查看日志定位训练失败原因。 已停止 模型训练已被用户手动停止。 停止中 模型训练正在停止中。 训练异常 模型训练过程中出现了非预期的异常情况,需查看日志定位训练异常原因。 待启动 模型训练任务已经创建,但尚未启动训练过程。 初始化
ints、训练参数、训练数据以及基本信息等。 启动。单击操作列的“启动”,再单击弹窗的“确定”,可以启动训练任务。 克隆。单击操作列的“更多 > 克隆”,可以复制当前训练任务。 重试。单击操作列的“更多 > 重试”,可以编辑运行失败的节点,重试该节点的训练。 删除。单击操作列的“更多
ints、训练参数、训练数据以及基本信息等。 启动。单击操作列的“启动”,再单击弹窗的“确定”,可以启动训练任务。 克隆。单击操作列的“更多 > 克隆”,可以复制当前训练任务。 重试。单击操作列的“更多 > 重试”,可以编辑运行失败的节点,重试该节点的训练。 删除。单击操作列的“更多
模型正在训练中,训练过程尚未结束。 训练失败 模型训练过程中出现错误,需查看日志定位训练失败原因。 已停止 模型训练已被用户手动停止。 停止中 模型训练正在停止中。 训练异常 模型训练过程中出现了非预期的异常情况,需查看日志定位训练异常原因。 待启动 模型训练任务已经创建,但尚未启动训练过程。 初始化
填写训练任务“名称”、“描述”,单击“立即创建”创建科学计算大模型训练任务。 创建好训练任务后,返回“模型训练”页面,单击操作列“启动”,并在任务确认弹窗中单击“确定”启动训练任务。 父主题: 训练科学计算大模型
进入操作空间 单击左侧导航栏“调用统计”,选择“NLP”页签。 选择当前调用的NLP大模型,可以按照不同时间跨度查看当前模型的调用总数、调用失败的次数、调用的总Tokens数、以及输入输出的Tokens数等基本信息。 此外,该功能还提供了可视化界面,可额外查看响应时长以及安全护栏拦截次数。
图4 算子编排 图5 选择加工模板 算子编排完成后,单击“立即执行”,平台会直接启动数据加工任务。若单击“保存”,数据集列表页中将新增一个任务状态为“待处理”的数据加工任务,可单击操作列“执行”启动加工。 图6 数据加工 图7 执行加工 当加工数据集任务运行成功后,状态将从“处理
URL协议只支持HTTP和HTTPS。 系统会校验URL地址是否为标准的URL格式。 URL对应的IP默认不应为内网,否则会导致注册失败。仅在非商用环境部署时,才允许支持内网URL,且需要通过相关的服务的启动配置项关闭内网屏蔽。 请求方式 插件服务的请求方式,POST或GET。 权限校验 插件服务的鉴权方式,支持以下三种:
图4 算子编排 图5 选择加工模板 算子编排完成后,单击“立即执行”,平台会直接启动数据加工任务。若单击“保存”,数据集列表页中将新增一个任务状态为“待处理”的数据加工任务,可单击操作列“执行”启动加工。 图6 数据加工 图7 执行加工 当加工数据集任务运行成功后,状态将从“处理
图4 算子编排 图5 选择加工模板 算子编排完成后,单击“立即执行”,平台会直接启动数据加工任务。若单击“保存”,数据集列表页中将新增一个任务状态为“待处理”的数据加工任务,可单击操作列“执行”启动加工。 图6 数据加工 图7 执行加工 当加工数据集任务运行成功后,状态将从“处理
图4 算子编排 图5 选择加工模板 算子编排完成后,单击“立即执行”,平台会直接启动数据加工任务。若单击“保存”,数据集列表页中将新增一个任务状态为“待处理”的数据加工任务,可单击操作列“执行”启动加工。 图6 数据加工 图7 执行加工 当加工数据集任务运行成功后,状态将从“处理
全量升级:新旧版本的服务同时运行,直至新版本完全替代旧版本。在新版本部署完成前,旧版本仍可使用。 滚动升级:部分实例资源空出用于滚动升级,逐个或逐批停止旧版本并启动新版本。滚动升级时可修改实例数。选择缩实例升级时,系统会先删除旧版本,再进行升级,期间旧版本不可使用。 图1 模型更新 图2 修改部署 父主题:
不同模型训练参数默认值存在一定差异,请以前端页面展示的默认值为准。 参数填写完成后,单击“立即创建”。 创建好训练任务后,返回“模型训练”页面,单击操作列“启动”,并在任务确认弹窗中单击“确定”启动训练任务。 父主题: 训练NLP大模型
fail:token解析失败。 token expires:token过期。 verify aksk signature fail:AK/SK认证失败。 x-auth-token not found:未找到x-auth-token参数。 token解析失败,请检查获取token的
全球中期天气要素预测:通过该模型可以对未来一段时间的天气进行预测。 全球中期降水预测:通过该模型可以对未来一段时间的降水情况进行预测。 模型服务 支持选择用于启动推理作业的模型。 中期天气要素模型包括1h分辨率、3h分辨率、6h分辨率、24小时分辨率模型,即以起报时刻开始,分别可以逐1h、3h、6h、24h往后进行天气要素的预测。
在“导入模型”页面,模型来源选择“盘古大模型”。输入模型对应的obs地址和模型名称、选择资源类型、输入资产描述并设置资产可见性后,单击“确定”,启动导入模型任务。 图4 导入模型 父主题: 管理盘古大模型空间资产
在“创建标注任务”页面选择需要标注的加工后的视频类数据集,并设置标注项。 当选择“视频Caption”标注项时,可以设置使用AI大模型对数据集进行预标注。启动预标注将会借助AI模型生成标注内容,这些内容不会覆盖原始数据集,仅作为标注人员的参考,以提高标注效率。 图3 创建标注任务 单击“下一步”设置标注人员及信息,单击“完成创建”。
在“创建标注任务”页面选择需要标注的加工后的图片类数据集,并设置标注项。 当选择“图片Caption”标注项时,可以设置使用AI大模型对数据集进行预标注。启动预标注将会借助AI模型生成标注内容,这些内容不会覆盖原始数据集,仅作为标注人员的参考,以提高标注效率。 图3 创建标注任务 单击“下一步”设置标注人员及信息,单击“完成创建”。