检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
能力调测 盘古大模型提供了便捷的“能力调测”功能,用户可以体验平台预置的多种模型功能,如文本对话功能。 只需在输入框中输入问题,模型便会自动返回对应的答案内容。平台还允许用户实时调整参数,以便更好地满足您的需求。 支持区域: 西南-贵阳一 使用能力调测与盘古NLP大模型进行对话问答
参数类型 描述 data String stream=true时,模型生成的消息以流式形式返回。生成的内容以增量的方式逐步发送回来,每个data字段均包含一部分生成的内容,直到所有data返回,响应结束。 表11 流式输出的数据单元 参数 参数类型 描述 suggestion String
练模型,并减少对模型性能的不利影响。 模型开发:模型开发是大模型项目中的核心阶段,通常包括以下步骤: 选择合适的模型:根据任务目标选择适当的模型。 模型训练:使用处理后的数据集训练模型。 超参数调优:选择合适的学习率、批次大小等超参数,确保模型在训练过程中能够快速收敛并取得良好的性能。
向比对的提示词,并单击“创建评估”。 图1 创建评估 选择评估使用的变量数据集和评估方法。 评估用例集:根据选择的数据集,将待评估的提示词和数据集中的变量自动组装成完整的提示词,输入模型生成结果。 评估方法:根据选择的评估方法,对模型生成结果和预期结果进行比较,并根据算法给出相应的得分。
配置服务访问授权 为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。 配置服务访问授权 创建并管理盘古工作空间 平台支持用户自定义创建工作空间,并进行空间的统一管理。 创建并管理盘古工作空间 部署NLP大模型 创建NLP大模型部署任务 部署后的模型可用于后续调用操作。 创建NLP大模型部署任务
训练任务描述。 不同模型训练参数默认值存在一定差异,请以前端页面展示的默认值为准。 参数填写完成后,单击“立即创建”。 创建好训练任务后,返回“模型训练”页面,单击操作列“启动”,并在任务确认弹窗中单击“确定”启动训练任务。 父主题: 训练NLP大模型
0”,单击评估标准名称,可以查看具体的评估项。 图2 预置文本类数据集评估标准 在“评估标准”页面单击右上角“创建评估标准”,选择预置标准作为参考项,并填写“评估标准名称”和“描述”。 单击“下一步”,编辑评估项。 用户可以基于实际需求删减评估项,或创建自定义评估项。创建自定义评估项时,需要
0”,单击评估标准名称,可以查看具体的评估项。 图2 预置视频类数据集评估标准 在“评估标准”页面单击右上角“创建评估标准”,选择预置标准作为参考项,并填写“评估标准名称”和“描述”。 单击“下一步”,编辑评估项。 用户可以基于实际需求删减评估项,或创建自定义评估项。创建自定义评估项时,需要
准备工作 申请试用盘古大模型服务 配置服务访问授权 创建并管理盘古工作空间
0”,单击评估标准名称,可以查看具体的评估项。 图2 预置图片类数据集评估标准 在“评估标准”页面单击右上角“创建评估标准”,选择预置标准作为参考项,并填写“评估标准名称”和“描述”。 单击“下一步”,编辑评估项。 用户可以基于实际需求删减评估项,或创建自定义评估项。创建自定义评估项时,需要
创建训练任务时,数据集列表为空 创建训练任务时,数据集选择框中显示为空,无可用的训练数据集。 数据集未发布。 请提前创建与大模型对应的训练数据集,并完成数据集发布操作。 训练日志提示“root: XXX valid number is 0”报错 日志提示“root: XXX valid number
通过IAM,您可以在华为云账号中给员工创建IAM用户(子用户),并授权控制他们对华为云资源的访问范围。例如,您的员工中有负责软件开发的人员,您希望他们拥有接口的调用权限,但是不希望他们拥有训练模型或者访问训练数据的权限,那么您可以先创建一个IAM用户,并设置该用户在盘古平台中的角色,控制对资源的使用范围。
登录ModelArts Studio大模型开发平台首页。 配置OBS访问授权。 方式1:在首页顶部单击“此处”,在“获取依赖服务的授权”弹窗选中授权,并单击“确认授权”。 图1 配置OBS访问授权提示 图2 配置OBS访问授权方式1 方式2:单击首页右上角“设置”,在“设置 > 授权管理”页签中,单击“一键授权”。
单击该工程任务右侧“撰写”。 图1 提示词工程 在“撰写”页面,选择左侧导航栏中的“候选”。在候选列表中,勾选需要进行横向比对的提示词,并单击“横向比较”。 图2 横向比较 进入到横向比较页面,下拉页面至“提示词效果比较”模块,比较提示词的效果,输入相同的变量值,查看两个提示词生成的结果。
滤、转换、打标签等操作。 上线加工后的数据集 对加工后的数据集执行上线操作。 标注数据集(可选) 创建数据集标注任务 创建数据集标注任务,并对数据集执行标注操作,标注后的数据可以用于模型训练。 审核数据集标注结果 对数据集的标注结果进行审核。 上线标注后的数据集 对标注后的数据集执行上线操作。
全量升级:新旧版本的服务同时运行,直至新版本完全替代旧版本。在新版本部署完成前,旧版本仍可使用。 滚动升级:部分实例资源空出用于滚动升级,逐个或逐批停止旧版本并启动新版本。滚动升级时可修改实例数。选择缩实例升级时,系统会先删除旧版本,再进行升级,期间旧版本不可使用。 图1 模型更新 图2 修改部署 父主题:
在“预置”页签可查看用户可使用的各类模型的预置资产。 图1 查看预置模型预置模型 单击模型,可在“版本列表”页签查看当前模型的历史版本,并执行模型的基本操作如训练、部署等。在“操作记录”页面可查看各版本的历史操作记录。 导出盘古大模型至其他局点 导出盘古大模型至其他局点前,请确保当前空间为该用户所创建的空间。
创建训练任务时,数据集列表为空 创建训练任务时,数据集选择框中显示为空,无可用的训练数据集。 数据集未发布。 请提前创建与大模型对应的训练数据集,并完成数据集发布操作。 训练日志提示“root: XXX valid number is 0”报错 日志提示“root: XXX valid number
一个提示词可以包含您传递到模型的指令或问题等信息,也可以包含其他种类的信息,如上下文、输入或示例等。您可以通过这些元素来更好地指导模型,并因此获得更好的结果。提示词主要包含以下要素: 指令:希望模型执行的特定任务或指令,如总结、提取、生成等。 上下文:包含外部信息或额外的上下文信息,引导语言模型更好地响应。
进入操作空间 在左侧导航栏中选择“数据工程 > 数据发布”,单击界面右上角“创建发布数据集”。 在“创建发布数据集”页面,选择“预测”类型的数据集。并根据训练任务场景选择“时序”、“回归分类”类型的数据。 图2 创建预测类数据集发布任务 当前预测类数据集仅支持发布默认格式,选择好数据集的发布格式后,单击“下一步”。