检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么多轮问答场景的盘古大模型微调效果不好 当您的目标任务是多轮问答，并且使用了多轮问答数据进行微调，微调后却发现多轮回答的效果不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据格式：多轮问答场景需要按照指定的数据格式来构造，问题需要拼接上历史所有轮对话的问题和
参数校验：可自定义参数校验规则对输出参数规范性进行校验。规则包括参数名称、校验类型及校验规则。 是否提取：开启后该参数必须提取到或使用默认值，关闭则该参数允许为空或者使用默认值。 反思：在参数提取之后，会根据参数描述与用户指令，对打开反思开关的参数，独立调用大模型进行反思并修正当前提取的结果。
都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 使用推理SDK章节示例代码均以ak和sk保存在环境变量中来实现身份验证。 登录“我的凭证”页面，获取“IAM用户名”、“账号名”以及待使用区域的“项目ID”。调用服务时会用到这些信息，请提前保存。
成更具创造性的内容，可以使用较高的温度，反之如果目标任务的需要生成更为确定的内容，可以使用较低的温度。 请注意，温度和核采样的作用相近，在实际使用中，为了更好观察是哪个参数对结果造成的影响，不建议同时调整这两个参数。 如果您没有专业的调优经验，可以优先使用建议，再结合推理的效果动态调整。
build(ClientBuilder.java:98) HttpConfig这个类在sdk-core包里面找不到，造成原因为用户使用的sdk版本太老导致，建议使用最新版本的华为云java sdk，运行代码再具体定位。 java.lang.NoSuchFieldError: ALLOW_
如何分析大模型输出错误回答的根因 大模型的输出过程通常是一个黑盒，涉及数以亿计甚至千亿计的参数计算，虽然这些参数共同作用生成输出，但具体的决策机制并不透明。 可以通过在提示词中引导模型输出思考过程，或者在模型输出后追问模型，帮助我们分析错误的根因。例如： “我注意到你犯了xxx的错误，请解释得出该结论的原因。”
版本部署完成前，旧版本仍可使用。需要该服务所消耗资源的2倍，用于保障全量一次性升级。 滚动升级：部分实例资源空出用于滚动升级，逐个或逐批停止旧版本并启动新版本。滚动升级时可修改实例数。选择缩实例升级时，系统会先删除旧版本，再进行升级，期间旧版本不可使用。 图1 升级模式 升级配置
版本部署完成前，旧版本仍可使用。需要该服务所消耗资源的2倍，用于保障全量一次性升级。 滚动升级：部分实例资源空出用于滚动升级，逐个或逐批停止旧版本并启动新版本。滚动升级时可修改实例数。选择缩实例升级时，系统会先删除旧版本，再进行升级，期间旧版本不可使用。 图1 升级模式 升级配置
资源池：选择部署模型所需的边缘资源池，创建边缘资源池步骤请详见创建边缘资源池。 CPU：部署需要使用的最小CPU值（物理核）。 内存：部署需要使用的最小内存值。 Ascend：部署使用的NPU数量。 负载均衡：创建负载均衡步骤请详见步骤5：创建负载均衡。 实例数：设置部署模型时所需的实例数。
什么是盘古大模型 盘古大模型服务致力于深耕行业，打造多领域行业大模型和能力集。ModelArts Studio大模型开发平台是盘古大模型服务推出的集数据管理、模型训练和模型部署为一体的一站式大模型开发平台及大模型应用开发平台，盘古NLP大模型、科学计算大模型、专业大模型能力通过ModelArts
角色指令模板。单击“”，可使用获取提示词模板中的提示词模板。 图1 提示词 提示词填写完成后可通过大模型进行优化，单击“”，可在 “Prompt优化”窗口中复制优化后的提示词，单击“确定”。 注意，使用智能优化提示词功能前，请先在页面右上角选择需要使用的模型。 图2 配置大模型 步骤3：添加插件
非流式调用推理服务传的参数只能是1或者2。 请使用正确的取值：1或者2。 PANGU.3321 The parameter [n] can only be 1 when calling streaming. 流式调用推理服务n只能取1。 请使用正确的取值：1。 APIG.0101 The
如何对盘古大模型的安全性展开评估和防护 盘古大模型的安全性主要从以下方面考虑： 数据安全和隐私保护：大模型涉及大量训练数据，这些数据是重要资产。为确保数据安全，需在数据和模型训练的全生命周期内，包括数据提取、加工、传输、训练、推理和删除的各个环节，提供防篡改、数据隐私保护、加密、
可搭建出任务流程，场景的节点包括大模型节点、意图识别节点、提问器节点、插件节点、判断节点、代码节点、消息节点，优点是可扩展能力强，用户适当使用低码开发，缺点是对话交互智能度不高，复杂场景下分支多，难以维护。 父主题： 开发盘古大模型Agent应用
在更广泛的任务上更为出色。 根据盘古大模型特点调整提示词。 直接使用在其他大模型上有效的提示词，可能无法在盘古大模型上获得相同的效果。为了充分发挥盘古大模型的潜力，建议根据盘古大模型的特点，单独调整提示词。直接使用在其他大模型上有效的提示词，可能无法在盘古大模型上获得相同的效果。
疗诊断等），则需要更为精确的处理方式： 如果该场景的业务规则较少且易于概括，可以尝试使用few-shot方式，通过向模型提供少量示例来让其理解任务并进行推理。 如果业务规则复杂且难以归纳，建议使用场景微调的方式，针对该特定场景进行模型训练，以便模型能够更深入地理解和适应这些复杂规则。
过滤不适当内容 ：大模型的训练数据可能包含不适当或有害的内容。使用自然语言处理工具和规则集来检测并过滤掉这些内容，以确保训练数据的安全性和道德性。 同质数据处理 ：同质的数据可能导致模型的偏倚和过拟合。可以使用哈希算法或文本相似度测量方法来检测并去除重复的数据条目。 典型的数据加工方法及示例见表1
删除。支持创建评估任务，选择候选提示词和需要使用的变量数据集，设置评估算法，执行任务自动化对候选提示词生成结果和结果评估。 提示词管理 提示词管理支持用户对满意的候选提示词进行保存管理，同时支持提示词的查询、删除。 图1 提示词工程使用流程 父主题： 开发盘古大模型提示词工程
和各项云服务技术的安全功能和性能本身，也包括运维运营安全，以及更广义的安全合规遵从。 租户：负责云服务内部的安全，安全地使用云。华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客
PI。 需填写密钥位置，即密钥是从Header中读取还是Query中读取。并设置密钥鉴权参数名、密钥来源参数名，以确保系统能够正确地提取和使用鉴权信息。 API Key：在调用API时提供一个唯一的API Key进行鉴权。 需填写密钥位置，即密钥是从Header中读取还是Query中读取。并设置API
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
