检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取模型部署ID 模型部署ID获取步骤如下: 登录ModelArts Studio大模型开发平台。 获取模型请求URI。 若调用部署后的模型,可在左侧导航栏中选择“模型开发 > 模型部署”,在“我的服务”页签,模型部署列表单击模型名称,在“详情”页签中,可获取模型的部署ID。 图1
部署NLP大模型 创建NLP大模型部署任务 查看NLP大模型部署任务详情 管理NLP大模型部署任务 父主题: 开发盘古NLP大模型
详见创建自定义数据合成指令。 指令选择完成后,单击“确定”,并配置指令参数。 如图1,展示了预训练文本类数据集的合成指令参数配置示例,该合成任务实现利用预训练文本生成问答对。 图1 预训练文本类数据集合成指令参数配置示例 指令编排完成后,单击右上角“启用调测”,可以对当前编排的指令效果进行预览。
部署专业大模型 创建专业大模型部署任务 查看专业大模型部署任务详情 管理专业大模型部署任务 父主题: 开发盘古专业大模型
使用“能力调测”调用NLP大模型 能力调测功能支持用户调用预置或训练后的NLP大模型。使用该功能前,请完成模型的部署操作,步骤详见创建NLP大模型部署任务。 使用“能力调测”调用NLP大模型可实现文本对话能力,即在输入框中输入问题,模型将基于问题输出相应的回答,具体步骤如下: 登录ModelArts
准备工作 申请试用盘古大模型服务 订购盘古大模型服务 配置服务访问授权 创建并管理盘古工作空间
部署科学计算大模型 创建科学计算大模型部署任务 查看科学计算大模型部署任务详情 管理科学计算大模型部署任务 父主题: 开发盘古科学计算大模型
、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思
针对“零码”开发者(无代码开发经验),平台提供了Prompt智能生成、插件自定义等能力,方便用户快速构建、调优、运行属于自己的大模型应用,仅需几步简单的配置即可创建属于自己的Agent应用。 对于“低码”开发者(有一定代码开发经验),可以通过工作流方式,适当编写一定代码,来构建逻辑复杂、且有较
在“创建发布任务”页面,选择数据集模态,如“文本 > 预训练文本”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“基本配置”中选择数据用途、数据集可见性、适用场景。 由于数据工程需要支持对接盘古大模型,为了使这些数据集能够被这些大模型正常训练,平台支持发布不同格式的数据集。
在“创建发布任务”页面,选择数据集模态,如“图片 > 图片+Caption”类型的数据集。 图3 选择数据集模态 选择数据集,单击“下一步”。 在“基本配置”中选择数据用途、数据集可见性、适用场景。 由于数据工程需要支持对接盘古大模型,为了使这些数据集能够被这些大模型正常训练,平台支持发布不同格式的数据集。
压缩NLP大模型 模型在部署前,通过模型压缩可以降低推理显存占用,节省推理资源提高推理性能。 平台当前仅可对NLP大模型进行压缩,支持压缩的模型清单请详见《产品介绍》> “模型能力与规格 > 盘古NLP大模型能力与规格”。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
在“创建评测任务”页面,参考表1完成部署参数设置。 表1 NLP大模型自动评测任务参数说明 参数分类 参数名称 参数说明 选择服务 模型来源 选择“NLP大模型”。 服务来源 支持已部署服务、外部服务两种选项。单次最多可评测10个模型。 已部署服务:选择部署至ModelArts Studio平台的模型进行评测。
调用说明 盘古大模型提供了REST(Representational State Transfer)风格的API,支持您通过HTTPS请求调用,调用方法请参见如何调用REST API。 调用API时,需要用户网络可以访问公网。 父主题: 使用前必读
(表示该参数未生效) moderation_config 否 Array of moderation_config objects 内容审核配置项。 enable_search 否 boolean 是否启动搜索增强。 默认值为false,如果开启搜索增强,请赋值为true。 表4 moderation_config
发,全程0代码开发,极大降低大模型开发门槛。 功能强,Agent开发“好” Agent开发提供便捷搭建大模型应用功能,并提供功能强大的插件配置,让Agent能力更强,更专业。 统一管,资产管理“全” ModelArts Studio大模型开发平台数据、模型、Agent应用在统一的
在“创建发布任务”页面,选择数据集模态,如“预测 > 时序”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“基本配置”中选择数据用途、数据集可见性、适用场景。当前预测类数据集仅支持发布标准格式。 填写数据集名称、描述,设置扩展信息后,单击“确定”执行数据集发布操作。
参考,以提高标注效率。 可选择开启“多人作业”功能,开启后,可选择多人协同完成作业,并增加审核功能可供选择。参考表2配置标注分配与审核。 表2 标注分配与审核配置 参数类型 参数名称 参数说明 标注分配 标注员 添加标注人员与数量。 标注审核 是否审核 否,标注后不进行审核操作。
在“创建发布任务”页面,选择数据集模态,如“气象 > 气象数据”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“基本配置”中选择数据用途、数据集可见性、适用场景。当前气象类数据集仅支持发布标准格式。 填写数据集名称、描述,设置扩展信息后,单击“确定”执行数据集发布操作。
在“创建发布任务”页面,选择数据集模态,如“其他 > 自定义”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“基本配置”中选择数据用途、数据集可见性、适用场景。当前其他类数据集仅支持发布标准格式。 填写数据集名称、描述,设置扩展信息后,单击“确定”执行数据集发布操作。