检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Key（SK）。下载的访问密钥为credentials.csv文件，包含AK/SK信息。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 使用推理SDK章节示例代码均以ak和sk保存在环境变量中来实现身份验证。
如何调用REST API 构造请求 认证鉴权 返回结果
为什么微调后的盘古大模型只能回答训练样本中的问题 当您将微调的模型部署以后，输入一个已经出现在训练样本中的问题，模型生成的结果很好，一旦输入了一个从未出现过的数据（目标任务相同），回答却完全错误。这种情况可能是由于以下几个原因导致的，建议您依次排查： 训练参数设置：您可以通过绘制
为什么在微调后的盘古大模型中输入训练样本问题，回答完全不同 当您将微调的模型部署以后，输入一个已经出现在训练样本中，或虽未出现但和训练样本差异很小的问题，回答完全错误。这种情况可能是由于以下几个原因导致的，建议您依次排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的
为什么微调后的盘古大模型总是重复相同的回答 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成了复读机式的结果，即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“话题重复度控制”或“温度”或
为什么微调后的盘古大模型评估结果很好，但实际场景表现很差 当您在微调过程中，发现模型评估的结果很好，一旦将微调的模型部署以后，输入一个与目标任务同属的问题，回答的结果却不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 测试集质量：请检查测试集的目标任务和分布与实际场
当出现第三方库冲突的时，如Jackson，okhttp3版本冲突等。可以引入如下bundle包(3.0.40-rc版本后)，该包包含所有支持的服务和重定向了SDK依赖的第三方软件，避免和业务自身依赖的库产生冲突： <dependency> <groupId>com.huaweicloud.sdk</groupId>
史问答，逐步处理并最终输出答案，展示在前端界面。 在该框架中，query改写模块、中控模块和问答模块由大模型具体实现，因此涉及到大模型的训练、优化、部署与调用等流程。pipeline编排流程可以基于python代码实现，也可以人工模拟每一步的执行情况。检索模块可以使用Elastic
资源到期了如何续费 包年/包月方式购买的资源到期后，请在平台订购管理页面进行续订操作。具体步骤如下： 登录ModelArts Studio大模型开发平台，单击页面右上角“订购管理”。 在“订购管理”页面，单击“资源订购”页签。 在“资源订购”页签可进行数据资源、训练资源、推理资源的续费操作。
左侧导航窗格中，选择“用户”页签，单击右上方的“创建用户”。 图6 创建用户 配置用户基本信息，单击“下一步”。 配置用户信息时，需要勾选“编程访问”，如果未勾选此项，会导致IAM用户无法使用盘古服务API、SDK。 图7 配置用户基本信息 将用户添加至创建用户组步骤中创建的用户组，单击“创建用户”，完成IAM用户的创建。
调测特性，基于Snt9B3部署，可支持1个推理单元部署推理。 Pangu-AI4S-Ocean_Swell_24h-20241030 此版本在Studio上首次发布，用于海浪预测，支持在线推理、能力调测特性，基于Snt9B3部署，可支持1个推理单元部署推理。 Pangu-AI4S
如何查看预置模型的历史版本 ModelArts Studio平台支持查看预置模型的多个历史版本，并提供对历史版本进行训练等操作的功能。您还可以查看每个版本的操作记录、状态以及其他基础信息。 要查看预置模型的历史版本，您可以按照以下步骤操作： 进入平台的“空间资产 > 模型 > 预置”页面。
如何让大模型按指定风格或格式回复 要让模型按照特定风格回复，可以提供领域和角色信息（如目标受众或特定场景），帮助模型理解并捕捉预期风格。 可以在提示词中，明确描述回复风格的要求。例如，若希望模型回答更精炼，可以提示： 你的回复“需要简洁精炼”、“仅包括最重要的信息”或“专注于主要结论”。
如何分析大模型输出错误回答的根因 大模型的输出过程通常是一个黑盒，涉及数以亿计甚至千亿计的参数计算，虽然这些参数共同作用生成输出，但具体的决策机制并不透明。 可以通过在提示词中引导模型输出思考过程，或者在模型输出后追问模型，帮助我们分析错误的根因。例如： “我注意到你犯了xxx的错误，请解释得出该结论的原因。”
此版本是2024年10月发布的十亿级模型版本，支持128K序列长度在线推理。基于Snt9B3卡支持8卡推理部署，此模型版本仅支持预置模型版本，不支持SFT后模型版本做128K序列长度推理部署。 Pangu-NLP-N2-Base-20241030 - 此版本是2024年10月发布的百亿级
如何评估微调后的盘古大模型是否正常 评估模型效果的方法有很多，通常可以从以下几个方面来评估模型训练效果： Loss曲线：通过Loss曲线的变化趋势来评估训练效果，确认训练过程是否出现了过拟合或欠拟合等异常情况。 模型评估：使用平台的“模型评估”功能，“模型评估”将对您之前上传的测
如何判断盘古大模型训练状态是否正常 判断训练状态是否正常，通常可以通过观察训练过程中Loss（损失函数值）的变化趋势。损失函数是一种衡量模型预测结果和真实结果之间的差距的指标，正常情况下越小越好。 您可以从平台的训练日志中获取到每一步的Loss，并绘制成Loss曲线，来观察其变化
如何对盘古大模型的安全性展开评估和防护 盘古大模型的安全性主要从以下方面考虑： 数据安全和隐私保护：大模型涉及大量训练数据，这些数据是重要资产。为确保数据安全，需在数据和模型训练的全生命周期内，包括数据提取、加工、传输、训练、推理和删除的各个环节，提供防篡改、数据隐私保护、加密、
如何调整推理参数，使盘古大模型效果最优 推理参数（解码参数）是一组用于控制模型生成预测结果的参数，其可以用于控制模型生成结果的样式，如长度、随机性、创造性、多样性、准确性和丰富度等等。 当前，平台支持的推理参数包括：温度、核采样以及话题重复度控制，如下提供了这些推理参数的建议值和说明，供您参考：
如何调整训练参数，使盘古大模型效果最优 模型微调参数的选择没有标准答案，不同的场景，有不同的调整策略。一般微调参数的影响会受到以下几个因素的影响： 目标任务的难度：如果目标任务的难度较低，模型能较容易的学习知识，那么少量的训练轮数就能达到较好的效果。反之，若任务较复杂，那么可能就需要更多的训练轮数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
