检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
横向比较提示词效果 将设置为候选的两个提示词横向比较，获取提示词的差异性和效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”，进入提示词工程页面。 在工程任务列表页面，找到所需要操作的工程任务，单击该工程任务名称，跳转工程任务下候选提示词页面。 图1
在左侧导航栏中选择“数据工程 > 数据清洗”，单击界面右上角“创建任务”。 图1 数据清洗 依据需要清洗的数据类型，选择对应的数据集和数据集版本，输出路径，设置名称、描述等信息为可选项。 输出路径默认为系统生成，您也可以自定义输出路径，当前支持覆盖和追加两种方式。 覆盖：清洗后数据覆盖和替换原有数据集内容。
附录 状态码 错误码 获取项目ID 获取模型调用API地址
创建知识库 选择知识库类型后，单击“创建”进入知识库设置页面，创建知识库。 当选择“自定义知识库”时，需要设置名称、英文名称、描述信息。注意英文名称和描述将影响模型检索效果，不可随意填写，需按照知识库中文档的实际内容或知识库目进行填写。设置完成后单击“立即创建”进入知识库详情页，上传文
置，否则继续操作下面步骤。 cat /etc/hccn.conf 执行如下命令，查看npu卡数。 npu-smi info 执行如下命令（地址自行配置）： hccn_tool -i 0 -ip -s address 192.168.0.230 netmask 255.255.255
roject_id}/deployments/{deployment_id} （/chat/completions在SDK代码中已经进行了设置）。 IAM endpoint需要根据服务所在的区域正确配置，参考帮助文档“终端节点”章节查找。 参考IAM帮助文档，获取账号相关信息。 华为云Gallery托管三方模型
载该obs文件，上传到环境B对应的obs桶中。 登录环境B的盘古大模型套件平台，在“模型迁移”页面，选择“导入模型”，输入模型对应的obs地址和模型名称后，单击“确定”，启动导入模型任务。 图4 导入模型
从已有数据导入：从已有的数据集中选择数据用于模型训练效果评估，如果数据超过100条，会取前100条数据。 图2 从训练数据拆分 完成训练任务基本信息。设置模型的名称、描述以及订阅提醒。 设置订阅提醒后，模型训练和部署过程产生的事件可以通过手机或邮箱发送给用户。 图3 基本信息 单击“立即创建”，创建有监督微调训练任务。
如果需要模型以某个人设形象回答问题，可以将role参数设置为system。不使用人设时，可设置为user。在一次会话请求中，人设只需要设置一次。 content 是 String 对话的内容，可以是任意文本，单位token。 设置多轮对话时，message中content个数不能超过20。
边缘服务部署流程 边缘部署是指将模型部署到用户的边缘设备上。这些设备通常是用户自行采购的服务器，通过ModelArts服务纳管为边缘资源池。然后利用盘古大模型服务将算法部署到这些边缘资源池中。 图1 边缘资源池创建步骤 当前仅支持预置模型（盘古-NLP-N2-基础功能模型）和基于
结构化信息，可以将有监督的问题设置为“请根据标题xxx/关键性xxx/简介xxx，生成一段不少于xx个字的文本。”，将回答设置为符合要求的段落。 续写：根据段落的首句、首段续写成完整的段落。 若您的无监督文档没有任何结构化信息，可以将有监督的问题设置为“以下是一篇文章的第一个句子
清理数据：删除缓存中的数据。例如，删除对应的缓存数据，可参考以下示例。 // 清理 cache.clear() 配置过期策略：设置缓存有效期，支持基于时间和大小的限制。 // 设置缓存数据10s 后过期 Cache cache = Caches.of(Caches.IN_MEMORY, CacheStoreConfig
of("pangu") 基础问答：基础的模型文本问答（temperature等参数采用模型默认的设置）。 llm_api.ask("你是谁？").answer 自定义参数问答：自定义设置如temperature等参数，获得对应的效果。 from pangukitsappdev.api
横向比较提示词效果 设置候选提示词 横向比较提示词效果 父主题： 提示词工程
name、project id 打开Postman，新建一个POST请求，并输入“西南-贵阳一”区域的“获取Token”接口。并填写请求Header参数。 接口地址为：https://iam.cn-southwest-2.myhuaweicloud.com/v3/auth/tokens 请求Heade
进阶技巧 设置背景及人设 理解底层任务 CoT思维链 考察模型逻辑 父主题： 提示词写作实践
查看对应编程语言类型的SDK代码。 图1 获取SDK代码示例 当您在中间填充栏填入对应内容时， 右侧代码示例会自动完成参数的组装。 图2 设置输入参数 填写输入参数时，deployment_id为模型部署ID，可以在盘古大模型套件平台“服务管理”功能中获取。 图3 服务管理 图4
提示词比较支持选择两个候选提示词对其文本和参数进行比较，支持对选择的候选提示词设置相同变量值查看效果。 提示词评估 提示词评估以任务维度管理，支持评估任务的创建、查询、修改、删除。支持创建评估任务，选择候选提示词和需要使用的变量数据集，设置评估算法，执行任务自动化对候选提示词生成结果和结果评估。 提示词管理
学习率设置得过大，使得模型在最优解附近震荡，甚至跳过最优解，导致无法收敛。您可以尝试提升数据质量或者减小学习率的方式来解决。 图3 异常的Loss曲线：上升 Loss曲线平缓，保持高位：Loss保持平缓且保持高位不下降的原因可能是由于目标任务的难度较大，或者模型的学习率设置得过小
自监督训练： 不涉及 有监督微调： 本场景采用了下表中的微调参数进行微调，您可以在平台中参考如下参数进行训练： 表2 微调核心参数设置 训练参数 设置值 数据批量大小（batch_size） 8 训练轮数（epoch） 4 学习率（learning_rate） 7.5e-05 学
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
