检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
演的角色、指定可以访问的工具、设置结果的输出风格等。 模型配置 嵌入模型 用于对AI助手进行任务规划、工具选择和生成回复。 模型版本 选择与“嵌入模型”对应的版本。例如，嵌入模型为N2系列，则模型版本也为N2。 工具配置 网页搜索 开启网页搜索后，可以通过调用web搜索来解决模型对于事实类问题回答不好的现象。
为什么微调后的模型，回答中会出现乱码 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据质量：请检查训练数据中是否存在包含异常字符的数据，可以通过规则进行清洗。
为什么微调后的模型，回答会异常中断 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果不完整，出现了异常截断。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“最大Token限制”参数的设置，适当增加该参数的值，可以增大
采用INT8的压缩方式，INT8量化可以显著减小模型的存储大小与降低功耗，并提高计算速度。 模型经过量化压缩后，不支持评估操作，但可以进行部署操作。 创建模型压缩任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型压缩”。 单击界面右上角“创建压缩任务”，进入创建压缩任务页面。
Java SDK 安装SDK 配置SDK LLMs（语言模型） Prompt（提示词模板） Memory（记忆） Skill（技能） Agent（智能代理） 应用示例 父主题： 盘古应用开发SDK
Python SDK 安装SDK 配置SDK LLMs（语言模型） Prompt（提示词模板） Memory（记忆） Skill（技能） Agent（智能代理） 应用示例 父主题： 盘古应用开发SDK
准备工作 注册华为账号并开通华为云 购买盘古大模型套件 开通盘古大模型服务 配置盘古访问授权 创建子用户并授权使用盘古
为什么微调后的模型，只能回答在训练样本中学过的问题 当您将微调的模型部署以后，输入一个已经出现在训练样本中的问题，模型生成的结果很好，一旦输入了一个从未出现过的数据（目标任务相同），回答却完全错误。这种情况可能是由于以下几个原因导致的，建议您依次排查： 训练参数设置：您可以通过绘
为什么微调后的模型，输入与训练样本相似的问题，回答与训练样本完全不同 当您将微调的模型部署以后，输入一个已经出现在训练样本中，或虽未出现但和训练样本差异很小的问题，回答完全错误。这种情况可能是由于以下几个原因导致的，建议您依次排查： 训练参数设置：您可以通过绘制Loss曲线查询来
2-Default模型，或其衍生模型，使用通用模型或其他模型无法运行。当前的moduleVersion需要配置为“N2_agent_v2”，如上例所示，因此模型的url要配置为Pangu-NLP-N2-Default模型的地址。 支持注册开源模型，开源模型的定义可参考开源模型。 final
为什么微调后的模型，回答总是在重复某一句或某几句话 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成了复读机式的结果，即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“话题重复度控制”或“
为什么微调后的模型，评估结果很好，但实际场景表现却很差 当您在微调过程中，发现模型评估的结果很好，一旦将微调的模型部署以后，输入一个与目标任务同属的问题，回答的结果却不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 测试集质量：请检查测试集的目标任务和分布与实际场景
、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思
左侧导航窗格中，选择“用户”页签，单击右上方的“创建用户”。 图6 创建用户 配置用户基本信息。 配置用户信息时，需要勾选“编程访问”，如果未勾选此项，会导致IAM用户无法使用盘古服务API、SDK。 图7 配置用户基本信息 单击“下一步”，将用户添加至创建用户组步骤创建的用户组中，完成IAM用户的创建。
CacheStoreConfig # redis缓存配置写入2s后到期 redis_cache = Caches.of("redis", CacheStoreConfig(expire_after_write=2)) # inMemory缓存配置缓存窗口数量为3，访问后2s到期 memory_cache
Token计算精确到1K Tokens，不足1K Tokens的部分舍去，按小时自动扣费。 变更配置 盘古NLP大模型的模型订阅服务和推理服务默认采用包周期计费，训练服务则默认采用按需计费。使用周期内不支持变更配置。 欠费 在使用云服务时，如果账户的可用额度低于待结算账单金额，即被判定为账户欠费
在Token计算器中选择所需的模型，并输入文本内容后，单击“开始计算”即可统计输入文本的Token数量。 图1 Token计算器 预置模型和已经部署的模型可以使用Token计算器。 父主题： 平台资源管理
builder().temperature(0.9).build()).build(); // 如使用Gallery三方模型，使用以下配置 // LLMConfig llmConfig = LLMConfigGallery.builder().llmParamConfig(LLMParamConfig
Key（SK）。下载的访问密钥为credentials.csv文件，包含AK/SK信息。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 使用推理SDK章节示例代码均以ak和sk保存在环境变量中来实现身份验证。 登录“我的凭
描述 project_id 是 String 项目ID，获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID，获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
