正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
证书会自动生成,一般无需修改。 pkgs // 包目录,用户自行命名 docker docker.tgz // docker 二进制文件,要求版本>19.0.3 certs // 使用generate命令生成的证书,指
支持有监督微调。 表3 盘古-NLP-N1-基础功能模型-2K训练参数推荐 应用场景 参数 推荐值 基础场景(文本分析、文本生成、文本翻译、query生成、开放问答、知识问答、改写、总结聚合、聊天) 数据批量大小 8 训练轮数 4 学习率 0.000005 优化器 adamw 学习率衰减比率
应用实践 基础问答 长文本摘要 Agent助手 父主题: 盘古应用开发SDK
撰写提示词 创建提示词工程 撰写提示词 预览提示词效果 父主题: 提示词工程
盘古应用开发SDK 盘古应用开发SDK简介 准备工作 Java SDK Python SDK 应用实践
以从环境A迁移模型到环境B为例: 登录环境B的盘古大模型套件平台,在“模型开发 > 模型管理”页面,单击右上角的“模型迁移”。 在“模型迁移”页面,下载用户证书。 图2 下载用户证书 登录环境A的盘古大模型套件平台,在“模型迁移”页面,选择“导出模型”,在导入证书的地方上传环境B下载的证书文件,并选择需要导出的模型和模型导出的obs路径。
配置知识库 大模型在进行训练时,使用的是通用的数据集,这些数据集没有包含特定行业的数据。通过知识库功能,用户可以将领域知识上传到知识库中,向大模型提问时,大模型将会结合知识库中的内容进行回答,解决特定领域问题回答不准的现象。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
在长短、扁平与深层嵌套、对接客户api接口数量上全覆盖。 数据中需要提供JSON的字段解释,以及Query和JSON生成逻辑解释。这些信息需要拼入Prompt,并确保人以及大模型可以根据Query、字段解释、Query到JSON的生成逻辑生成符合客户要求的JSON。Prompt会
调测AI助手 在AI助手的创建页面可以直接进行调测,也可以在AI助手列表页进行调测。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > AI助手”,选择需要调测的AI助手,单击“调测”按钮。 图1 AI助手 在调测页面,可以调整AI助手的指令,输入问题后,单击“运行”获得模型回复结果。
AI助手API参数说明 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 Content-Type 是 String 发送
数据清洗”,单击界面右上角“创建任务”。 图1 数据清洗 依据需要清洗的数据类型,选择对应的数据集和数据集版本,输出路径,设置名称、描述等信息为可选项。 输出路径默认为系统生成,您也可以自定义输出路径,当前支持覆盖和追加两种方式。 覆盖:清洗后数据覆盖和替换原有数据集内容。 追加:清洗后数据增加到原有数据集路径下。
工具的描述,尽可能的准确简短描述工具的用途。 说明: 该描述直接影响大模型对工具使用的判断,请尽量描述清楚。如果AI助手实际执行时,无法根据用户问题匹配到工具,或者匹配效果不理想,可以修改此描述。 input_schema 是 Json Schema 工具输入参数。将API封装为工
书籍等语料)进行大规模无监督预训练,具备了强大的语言理解、生成、意图识别和逻辑推理能力。这使得大模型在智能问答系统中表现出色:用户输入问题后,大模型依靠其强大的意图理解能力和从大规模预训练语料及通用SFT中获得的知识,生成准确而全面的回答。然而,依赖通用大模型自身知识来回答问题,在某些垂直领域应用中会面临挑战:
批量评估提示词效果 创建提示词评估数据集 创建提示词评估任务 查看提示词评估结果 父主题: 提示词工程
Storage Service,简称OBS)进行数据存储,实现安全、高可靠和低成本的存储需求。因此,为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。 使用主账号登录盘古大模型套件平台。 在左侧菜单选择“平台管理 > 授权管理”,单击右上角“一键授权”进行授权。
准备盘古大模型训练数据集 训练数据集创建流程 模型训练所需数据量与数据格式要求 创建一个新的数据集 检测数据集质量 清洗数据集(可选) 发布数据集 创建一个训练数据集
创建训练任务 创建自监督微调训练任务 创建有监督训练任务 父主题: 训练盘古大模型
upload(upload_file, upload_bt, file_output) greet_btn = gr.Button("生成摘要") output = gr.Textbox(label="输出") greet_btn.click(fn=summary
比较候选提示词信息的差异性,可以单击开启“高亮展示差异点”。 图3 高亮差异点 下拉页面至“提示词效果比较”模块,比较提示词的效果,输入相同的变量值,查看两个提示词生成的结果。 图4 比较提示词的效果 父主题: 两两比对提示词效果
压缩盘古大模型 N2基础功能模型、N4基础功能模型、经有监督微调训练以及RLHF训练后的N2、N4模型可以通过模型压缩技术在保持相同QPS目标的情况下,降低推理时的显存占用。 采用INT8的压缩方式,INT8量化可以显著减小模型的存储大小与降低功耗,并提高计算速度。 模型经过量化