检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署指算法部署至平台提供的资源池中。边缘部署指算法部署至客户的边缘设备中(仅支持边缘部署的模型可配置边缘部署)。 部分模型资产支持边缘部署方式,若选择“边缘部署”: 资源池:选择部署模型所需的边缘资源池,创建边缘资源池步骤请详见创建边缘资源池。 CPU:部署需要使用的最小CPU值(物理核)。
再进行升级,期间旧版本不可使用。 图1 升级模式 升级配置后,需重新启动该部署任务,升级模式即为重启的方式。 修改部署配置 完成创建NLP大模型部署任务后,可以修改已部署模型的描述信息并升级配置,但不可替换模型。具体步骤如下: 登录ModelArts Studio大模型开发平台
本,再进行升级,期间旧版本不可使用。 图1 升级模式 升级配置后,需重新启动该部署任务,升级模式即为重启的方式。 修改部署配置 完成创建专业大模型部署任务后,可以修改已部署模型的描述信息并升级配置,但不可替换模型。具体步骤如下: 登录ModelArts Studio大模型开发平台
创建专业大模型部署任务 平台支持部署预置的专业大模型,操作步骤如下: 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。 在“创建部署”页面,参考表1完成部署参数设置。 表1 专业大模型部署参数说明
再进行升级,期间旧版本不可使用。 图1 升级模式 升级配置后,需重新启动该部署任务,升级模式即为重启的方式。 修改部署配置 完成创建科学计算大模型部署任务后,可以修改已部署模型的描述信息并升级配置,但不可替换模型。具体步骤如下: 登录ModelArts Studio大模型开发平
说明搭建边缘服务器集群的步骤。 步骤3:安装Ascend插件 说明安装Ascend插件指导。 步骤4:创建证书 说明创建负载均衡所需证书步骤。 步骤5:创建负载均衡 说明创建负载均衡步骤。 ModelArts Studio大模型开发平台当前仅部分模型支持边缘部署,详见《产品介绍》“模型能力与规格”章节。
查看NLP大模型部署任务详情 部署任务创建成功后,可以查看大模型部署任务详情,具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”,完成创建NLP大模型部署任务后,可以查看模型的部署状态。
在“创建加工任务”页面,选择需要加工的图片类数据集,单击“下一步”。 进入“加工步骤编排”页面。对于图片类数据集,可选择的加工算子请参见表1。 在左侧“添加算子”分页勾选所需算子。 在右侧“加工步骤编排”页面配置各算子参数,可拖动右侧“”以调整算子执行顺序。 图1 算子编排 在编排过程
查看专业大模型部署任务详情 部署任务创建成功后,可以查看大模型部署的任务详情,具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”,完成创建专业大模型部署任务后,可以查看模型的部署状态。
填写输入参数时,deployment_id为模型部署ID,获取方式如下: 若调用部署后的模型,可在左侧导航栏中选择“模型开发 > 模型部署”,在“我的服务”页签,模型部署列表单击模型名称,在“详情”页签中,可获取模型的部署ID。 图3 部署后的模型调用路径 若调用预置模型,可在左侧导航栏中选择“模型开发
在“创建加工任务”页面,选择需要加工的文本类数据集,单击“下一步”。 进入“加工步骤编排”页面。对于文本类数据集,可选择的加工算子请参见文本类加工算子介绍。 在左侧“添加算子”分页勾选所需算子。 在右侧“加工步骤编排”页面配置各算子参数,可拖动右侧“”以调整算子执行顺序。 图1 算子编排 在编
服务的权限。 配置OBS访问授权步骤如下: 登录ModelArts Studio大模型开发平台首页。 配置OBS访问授权。 方式1:在首页顶部单击“此处”,在弹窗中选择授权项,并单击“确认授权”。 图1 配置OBS访问授权 方式2:单击首页右上角“设置”,在“授权管理”页签,单击“一键授权”。
能力调测功能支持用户调用预置或训练后的NLP大模型。使用该功能前,请完成模型的部署操作,步骤详见创建NLP大模型部署任务。 使用“能力调测”调用NLP大模型可实现文本对话能力,即在输入框中输入问题,模型将基于问题输出相应的回答,具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
详见创建自定义数据合成指令。 指令选择完成后,单击“确定”,并配置指令参数。 如图1,展示了预训练文本类数据集的合成指令参数配置示例,该合成任务实现利用预训练文本生成问答对。 图1 预训练文本类数据集合成指令参数配置示例 指令编排完成后,单击右上角“启用调测”,可以对当前编排的指令效果进行预览。
大模型。使用该功能前,请完成模型的部署操作,步骤详见创建科学计算大模型部署任务。 使用“能力调测”调用科学计算大模型可实现包括全球中期天气要素预测、全球中期降水预测、全球海洋要素、区域海洋要素、全球海洋生态、全球海浪高度场景的预测能力。具体步骤如下: 登录ModelArts St
创建NLP大模型评测数据集 NLP大模型支持人工评测与自动评测,在执行模型评测任务前,需创建评测数据集。 评测数据集的创建步骤与训练数据集一致,本章节仅做简单介绍,详细步骤请参见使用数据工程构建NLP大模型数据集。 登录ModelArts Studio平台,进入所需空间。 在左侧导航栏中选择“数据工程
参考,以提高标注效率。 可选择开启“多人作业”功能,开启后,可选择多人协同完成作业,并增加审核功能可供选择。参考表2配置标注分配与审核。 表2 标注分配与审核配置 参数类型 参数名称 参数说明 标注分配 标注员 添加标注人员与数量。 标注要求 选择标注项为“图片Caption”且
参考,以提高标注效率。 可选择开启“多人作业”功能,开启后,可选择多人协同完成作业,并增加审核功能可供选择。参考表2配置标注分配与审核。 表2 标注分配与审核配置 参数类型 参数名称 参数说明 标注分配 标注员 添加标注人员与数量。 标注审核 是否审核 否,标注后不进行审核操作。
在“创建加工任务”页面,选择需要加工的气象类数据集,单击“下一步”。 进入“加工步骤编排”页面。对于气象类数据集,可选择的加工算子请参见表1。 在左侧“添加算子”分页勾选所需算子。 在右侧“加工步骤编排”页面配置各算子参数,可拖动右侧“”以调整算子执行顺序。 图1 算子编排 在编排过程
其中,“单轮问答”标注项支持“AI辅助标注”功能,若开启该功能,需要选择已部署的NLP服务作为AI辅助标注模型。 可选择开启“多人作业”功能,开启后,可选择多人协同完成作业,并增加审核功能可供选择。参考表2配置标注分配与审核。 表2 标注分配与审核配置 参数类型 参数名称 参数说明 标注分配 标注员 添加标注人员与数量。