检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务右侧“撰写”。 在“撰写”页面,选择左侧导航栏中的“候选”。在候选列表中,勾选需要进行横向比对的提示词,并单击“创建评估”。 图1 创建评估 选择评估使用的变量数据集和评估方法。 评估用例集:根据选择的数据集,将待评估的提示词和数据集中的变量自动组装成完整的提示词,输入模型生成结果。
模型”中可以查看当前空间和预置的模型资产,如果有多个空间的访问权限,可切换空间查看其他空间内的资产。 在“本空间”页签可查看模型资产,并可对模型进行删除操作。单击模型名称可进入详情页面查看模型的基础信息。 在“预置”页签可查看用户可使用的各类模型的预置资产。 图1 查看预置模型预置模型
成功创建部署任务后,如需修改已部署的模型或配置信息,可以在详情页面单击右上角的“模型更新”或“修改部署”进行调整。更新模型时可以替换模型,但在修改部署时模型不可替换。 在“模型更新”或“修改部署”后进行升级操作时,可选择全量升级或滚动升级两种方式: 全量升级:新旧版本的服务同时运行,直至新版
在“创建发布数据集”页面,选择“其他”类型的数据集,当前可选“自定义”类型的数据。 图2 创建其他类数据集发布任务 当前其他类数据集仅支持发布默认格式,选择好数据集的发布格式后,单击“下一步”。 设置数据集的“资产可见性”,填写数据集名称、描述,设置扩展信息后,单击“确认发布”进行数据集发布操作。发布后的数据集支持重新发布和删除操作。
在“创建发布数据集”页面,选择“预测”类型的数据集。并根据训练任务场景选择“时序”、“回归分类”类型的数据。 图2 创建预测类数据集发布任务 当前预测类数据集仅支持发布默认格式,选择好数据集的发布格式后,单击“下一步”。 设置数据集的“资产可见性”,填写数据集名称、描述,设置扩
在“创建发布数据集”页面,选择“气象”类型的数据集,当前可选“海洋气象”类型的数据。 图2 创建气象类数据集发布任务 当前气象类数据集仅支持发布默认格式,选择好数据集的发布格式后,单击“下一步”。 设置数据集的“资产可见性”,填写数据集名称、描述,设置扩展信息后,单击“确认发布”进行数据集发布操作。发布后的数据集支持重新发布和删除操作。
Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评估标准”,平台预置的文本类数据集评估标准“视频数据质量标准 V1.0”,单击评估标准名称,可以查看具体的评估项。 图2 预置视频类数据集评估标准 在“评估标准”页面
度,用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准,可跳过此章节至创建文本类数据集评估任务。 创建文本类数据集评估标准步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
提示词应用示例 应用提示词实现智能客服系统的意图匹配 应用提示词生成面试题目 父主题: 提示词写作实践
西南-贵阳一”区域,需要获取与贵阳一区域的对应的项目id。 图2 获取项目ID 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。 调用API获取项目ID 项目ID还可通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endp
发布训练后的科学计算大模型 科学计算大模型训练完成后,需要执行发布操作,操作步骤如下: 在模型训练列表页面选择训练完成的任务,单击训练任务名称进去详情页。 在“训练结果”页面,单击“发布”。 图1 训练结果 填写资产名称、描述,选择对应的可见性,单击“确定”发布模型。 发布后的模型会作为资产同步显示在“空间资产
通过横向比较提示词效果和批量评估提示词效果,如果找到高质量的提示词,可以将这些提示词发布至“提示词模板”中。 在提示词“候选”页面,选择质量好的提示词,并单击“保存到模板库”。 图1 保存提示词至模板库 进入“Agent 开发 > 提示词工程 > 提示词模板”页面,查看发布的提示词。 父主题: 开发盘古大模型提示词工程
> 模型部署”页面查看模型的部署状态。 当状态依次显示为“初始化 > 部署中 > 运行中”时,表示模型已成功部署,可以进行调用。 此过程可能需要较长时间,请耐心等待。在此过程中,可单击模型名称可进入详情页,查看模型的部署详情、部署事件、部署日志等信息。 图1 部署详情 父主题: 部署NLP大模型
针对调用的大模型,平台提供了统一的管理功能。 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 单击左侧导航栏“调用统计”,选择“NLP”页签。 选择当前调用的NLP大模型,可以按照不同时间跨度查看当前模型的调用总数、调用失败的次数、调用
> 模型部署”页面查看模型的部署状态。 当状态依次显示为“初始化 > 部署中 > 运行中”时,表示模型已成功部署,可以进行调用。 此过程可能需要较长时间,请耐心等待。在此过程中,可单击模型名称可进入详情页,查看模型的部署详情、部署事件、部署日志等信息。 图1 部署详情 父主题: 部署科学计算大模型
配置开场白和推荐问题 配置开场白和推荐问题的步骤如下: 在“高级配置 > 开场白和推荐问题”中,可输入自定义开场白,也可单击“智能添加”。 在推荐问中单击“添加”,可增加推荐问数量。添加后可在右侧“预览调试”中查看相应效果。 最多可以添加3个推荐问。 图1 预览调试查看开场白与推荐问效果
预览提示词效果 提示词撰写完成后,可以通过输入具体的变量值,组成完整的提示词,查看不同提示词在模型中的使用效果。 在撰写提示词页面,找到页面右侧变量输入区域,在输入框中输入具体的变量值信息。 输入变量值后预览区域会自动组装展示提示词。也可以直接选择已创建的变量集填入变量值信息,变量集是一个ex
作: 编辑。单击操作列的“编辑”,可以修改模型的checkpoints、训练参数、训练数据以及基本信息等。 启动。单击操作列的“启动”,再单击弹窗的“确定”,可以启动训练任务。 克隆。单击操作列的“更多 > 克隆”,可以复制当前训练任务。 重试。单击操作列的“更多 > 重试”,可
标介绍请参见表2。 图1 查看训练指标 表2 训练指标说明 模型 训练指标 指标说明 NLP大模型 训练损失值 训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标,通常情况下越小越好。 一般来说,一个正常的Loss曲线应该是单调递减的,即随着训练的进行,Loss值不断减小,直到收敛到一个较小的值。
说明 压缩配置 压缩模型 选择需要进行压缩的模型,可使用来自资产的模型或任务的模型。 压缩策略 例如,可使用INT8压缩策略,同等QPS目标下,INT8可以降低推理显存占用。 基本信息 任务名称 模型压缩任务的名称。 描述 模型压缩任务的描述。 参数填写完成后单击“立即创建”创建模型压缩任务。