检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
project id参数需要与盘古服务部署区域一致。例如，盘古大模型部署在“西南-贵阳一”区域，需要获取与“西南-贵阳一”区域对应的project id。 图3 查看盘古服务区域 图4 获取user name、domain name、project id 下载并安装Postman调测工具。
project id参数需要与盘古服务部署区域一致。例如，盘古大模型部署在“西南-贵阳一”区域，需要获取与“西南-贵阳一”区域对应的project id。 图3 查看盘古服务区域 图4 获取user name、domain name、project id 下载并安装Postman调测工具。
服务列表”中选择需要调用的模型，并单击操作列的“调用路径”。 图2 服务概览页面 在弹窗中可获取对应模型的API请求地址。其中，路径选中部分即为模型的部署ID（deployment_id）。 图3 获取API请求地址 父主题： 附录
数据量的要求较大，如果您的无监督文档量级过小，达不到预训练要求，您可以通过一些手段将其转换为有监督数据，再将转换后的领域知识与目标任务数据混合，使用微调的方式让模型学习。 这里提供了一些将无监督数据转换为有监督数据的方案，供您参考： 基于规则构建：您可以通过采用一些简单的规则来构建有监督数据。比如：
为什么微调后的模型，回答中会出现乱码 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据质量：请检查训练数据中是否存在包含异常字符的数据，可以通过规则进行清洗。
为什么微调后的模型，回答会异常中断 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果不完整，出现了异常截断。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“最大Token限制”参数的设置，适当增加该参数的值，可以增大
为什么微调后的模型，回答总是在重复某一句或某几句话 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成了复读机式的结果，即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“话题重复度控制”或“
为什么微调后的模型，评估结果很好，但实际场景表现却很差 当您在微调过程中，发现模型评估的结果很好，一旦将微调的模型部署以后，输入一个与目标任务同属的问题，回答的结果却不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 测试集质量：请检查测试集的目标任务和分布与实际场景
采用INT8的压缩方式，INT8量化可以显著减小模型的存储大小与降低功耗，并提高计算速度。 模型经过量化压缩后，不支持评估操作，但可以进行部署操作。 创建模型压缩任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型压缩”。 单击界面右上角“创建压缩任务”，进入创建压缩任务页面。
为什么微调后的模型，只能回答在训练样本中学过的问题 当您将微调的模型部署以后，输入一个已经出现在训练样本中的问题，模型生成的结果很好，一旦输入了一个从未出现过的数据（目标任务相同），回答却完全错误。这种情况可能是由于以下几个原因导致的，建议您依次排查： 训练参数设置：您可以通过绘
为什么微调后的模型，输入与训练样本相似的问题，回答与训练样本完全不同 当您将微调的模型部署以后，输入一个已经出现在训练样本中，或虽未出现但和训练样本差异很小的问题，回答完全错误。这种情况可能是由于以下几个原因导致的，建议您依次排查： 训练参数设置：您可以通过绘制Loss曲线查询来
分类、情感分析、机器翻译，还是问答系统，模型都能以高准确率完成任务，为用户提供高质量的输出结果。 这种卓越的表现源于其先进的算法和深度学习架构。盘古大模型能够深入理解语言的内在逻辑与语义关系，因此在处理复杂语言任务时展现出更高的精准度和效率。这不仅提高了任务的成功率，也大幅提升了
型相比，BI专业大模型更适合执行数据分析、报告生成和业务洞察等任务。 模型推理资产即部署模型所需的cpu、gpu资源（专属资源池）。如果不订购推理资产，可以使用订购的盘古模型进行训练，但无法部署训练后的模型。 登录盘古大模型套件平台。 在服务“总览”页面，单击“立即购买”，平台将
大模型调用能力：AI助手可以根据特定的指令调用NLP大模型，以改变AI助手的回复方式，使其更好地响应用户的需求。例如，让AI助手表现得更加友好、专业，或者更加幽默。 多工具混合调用：AI助手可以集成不同功能的工具来解决问题，这使得AI助手能够处理各种复杂的任务。 统一调用入口：AI助手通过一个统一的问答入口，即可
身份认证，获得操作API的权限。 Token的有效期为24小时，需要使用一个Token鉴权时，可以先缓存起来，避免频繁调用。 如果您的华为云账号已升级为华为账号，将不支持获取账号Token。建议为您自己创建一个IAM用户，获取IAM用户的Token。 获取Token方法： Tok
huaweicloudsdkpangulargemodels Go 安装华为云Go SDK库。 // 安装华为云 Go SDK 库 go get -u github.com/huaweicloud/huaweicloud-sdk-go-v3 .NET 安装.NET SDK库 dotnet add package
盘古应用开发SDK使用前准备 使用盘古大模型应用开发SDK时，需要在代码中配置以下信息，请提前收集。 表1 配置项说明及获取方式 类型 资源 是否必选 相关配置项 说明 配置项值获取方式 IAM认证 - 是 sdk.iam.url Token认证调用URL。 示例：POST ht
开源模型。例如，用vllm框架使用OpenAI-API启动推理服务。当前鉴权方式支持AppCode鉴权和华为云的APIG简易认证方式。配置文件需要指定url和key，配置项为： sdk.llm.openai.url=https://infer-app-modelarts-cn-southwest-2
准备工作 注册华为账号并开通华为云，并完成实名认证，账号不能处于欠费或冻结状态。 检查开发环境要求，确认本地已具备开发环境。 开通盘古大模型API。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。
在Token计算器中选择所需的模型，并输入文本内容后，单击“开始计算”即可统计输入文本的Token数量。 图1 Token计算器 预置模型和已经部署的模型可以使用Token计算器。 父主题： 平台资源管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
