检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
横向比较提示词效果 设置候选提示词 横向比较提示词效果 父主题: 提示词工程
进阶技巧 设置背景及人设 理解底层任务 CoT思维链 考察模型逻辑 父主题: 提示词写作实践
提示词比较支持选择两个候选提示词对其文本和参数进行比较,支持对选择的候选提示词设置相同变量值查看效果。 提示词评估 提示词评估以任务维度管理,支持评估任务的创建、查询、修改、删除。支持创建评估任务,选择候选提示词和需要使用的变量数据集,设置评估算法,执行任务自动化对候选提示词生成结果和结果评估。 提示词管理
学习率设置得过大,使得模型在最优解附近震荡,甚至跳过最优解,导致无法收敛。您可以尝试提升数据质量或者减小学习率的方式来解决。 图3 异常的Loss曲线:上升 Loss曲线平缓,保持高位:Loss保持平缓且保持高位不下降的原因可能是由于目标任务的难度较大,或者模型的学习率设置得过小
准确又及时的答案。 登录盘古大模型套件平台,在左侧导航栏中选择“能力调测”。 单击“多轮对话”页签,选择使用N2系列模型,在页面右侧“参数设置”中可以开启搜索增强功能。 图1 体验搜索增强能力
初始化盘古LLM LLM llm = LLMs.of(LLMs.PANGU); 基础问答:基础的模型文本问答,temperature等参数采用模型默认的设置。 llm.ask("你是谁?").getAnswer(); 同时调用多个不同的LLM。 final LLMConfig config =
式输出相比,提供了事件流的封装。消息内容、工具调用等通过不同的事件类型区分。 通过如下接口为Agent添加流式输出的回调: /** * 设置流式接口回调函数 * * @param streamAgentCallback 事件流回调 */ void setStreamCal
Step的返回进行修改。 通过监听终止Agent的执行 当需要在Agent的执行过程中终止执行时,除了通过setMaxIterations设置Agent的最大迭代次数,也可以通过实现监听器的onCheckInterruptRequirement实现。 agent.addListener(new
量差,或学习率设置过大,使得模型在最优解附近震荡,甚至跳过最优解,导致无法收敛。您可以尝试提升数据质量或减小学习率来解决。 图4 异常的Loss曲线:上升 Loss曲线平缓,保持高位:Loss曲线平缓且保持高位不下降的原因可能是目标任务的难度较大,或模型的学习率设置过小,导致模型
为Agnet的执行状态。 通过监听终止Agent的执行 当需要在Agent的执行过程中终止执行时,除了通过setMaxIterations设置Agent的最大迭代次数,也可以通过实现监听器的on_check_interrupt_requirement实现。 class Inter
DocSummaryMapReduceSkill from pangukitsappdev.api.llms.factory import LLMs # 设置SDK使用的配置文件 os.environ["SDK_CONFIG_PATH"] = "./llm.properties" # 初始化文档问答Skill
directory”报错,表示当前数据集格式、数据命名、数据存储路径不满足训练要求。 解决方案:请参考数据格式要求校验数据集格式。 请检查数据集路径是否设置正确。 图2 no such file or directory报错 The dataset size is too small报错 报错
话题重复度控制(presence_penalty) -2~2 0 话题重复度控制主要用于控制模型输出的话题重复程度。 参数设置正值,模型倾向于生成新的、未出现过的内容;参数设置负值,倾向于生成更加固定和统一的内容。 如果您没有专业的调优经验,可以优先使用建议,再结合推理的效果动态调整。 为
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的获取用户Token接口说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987
SearchTool()); } 静态工具和动态工具的注册方式相同,通过addTool接口进行注册。 通过setMaxIterations可以设置最大迭代次数,控制Agent子规划的最大迭代步数,防止无限制的迭代或出现死循环情况。 Agent使用的模型必须为Pangu-NLP-N2-
用户已经提供了公司名称"方欣科技有限公司",并指定了时间范围为今年1月。我将设置"report_type"为"经营异常风险检测",并将"skssqq"设置为"2024-01-01","skssqz"设置为"2024-01-31"。现在,我将调用工具。 行动:使用工具[risk_detection]
部署为边缘服务 边缘服务部署流程 边缘部署准备工作 注册边缘资源池节点 搭建边缘服务器集群 安装Ascend插件 订购盘古边缘部署服务 部署边缘模型 调用边缘模型 父主题: 部署盘古大模型
查看对应编程语言类型的SDK代码。 图1 获取SDK代码示例 当您在中间填充栏填入对应内容时, 右侧代码示例会自动完成参数的组装。 图2 设置输入参数 填写输入参数时,deployment_id为模型部署ID,可以在盘古大模型套件平台“服务管理”功能中获取。 图3 服务管理 图4
自监督训练: 不涉及 有监督微调: 本场景采用了下表中的微调参数进行微调,您可以在平台中参考如下参数进行训练: 表2 微调核心参数设置 训练参数 设置值 数据批量大小(batch_size) 8 训练轮数(epoch) 4 学习率(learning_rate) 7.5e-05 学
如果需要模型以某个人设形象回答问题,可以将role参数设置为system。不使用人设时,可设置为user。在一次会话请求中,人设只需要设置一次。 content 是 String 对话的内容,可以是任意文本,单位token。 设置多轮对话时,message中content个数不能超过20。