检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数。 单击应用右上角的，打开大模型参数配置页面。配置参数见表1，完成大模型参数配置。 表1 大模型参数配置 参数 说明 模型选择 选择要使用的LLM，不同的模型效果存在差异。 模式选择 用于配置大模型的输出多样性。 包含取值： 精确的：模型的输出内容严格遵循指令要求，可能会反复讨论某个主题，或频繁出现相同词汇。
API进行的封装，通过该SDK可以处理用户的输入，生成模型的回复，从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答（/chat/completions） Java、Python、Go、.NET、NodeJs 基于对话问答功能，
可修改当前空间的名称与描述。 可查看当前空间的创建时间。 单击右上角“删除”，可删除当前空间。 删除空间属于高危操作，删除前请确保当前空间不再进行使用。 父主题： 创建并管理盘古工作空间
在“撰写”页面，选择左侧导航栏中的“候选”。在候选列表中，勾选需要进行横向比对的提示词，并单击“创建评估”。 图1 创建评估 选择评估使用的变量数据集和评估方法。 评估用例集：根据选择的数据集，将待评估的提示词和数据集中的变量自动组装成完整的提示词，输入模型生成结果。 评估方
在工程任务列表页面，找到所需要操作的工程任务，单击该工程任务右侧“撰写”。 图1 提示词工程 在提示词撰写区域输入提示词文本，可以插入若干个变量，变量需要使用占位符{{ }}标识。 图2 撰写提示词 撰写完成后，单击“确定”，平台会自动识别插入的变量。提示词中识别的变量将展示在变量定义区域。 变
在模型训练列表中查看训练任务的状态，各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 已发布 模型已经训练完成并进行发布，用户可以使用模型进行部署、推理操作。 训练完成 模型训练已经成功完成。 训练中 模型正在训练中，训练过程尚未结束。 训练失败 模型训练过程中出现错误，需查看日志定位训练失败原因。
表示模型生成的答案中包含的tokens的数量。 prompt_tokens Number 表示生成结果时使用的提示文本的tokens的数量。 total_tokens Number 对话过程中使用的tokens总数。 流式（stream参数为true） 状态码： 200 表10 流式输出的数据单元
持32卡起训，支持4卡推理部署，此模型版本支持全量微调、LoRA微调、INT8量化、断点续训、在线推理、能力调测、边缘部署特性。 在选择和使用盘古大模型时，了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、在线推理和能力调测等方面的支持程度各不相同，开发者应
过在画布上对组件进行“拖拉拽”即可搭建出任务流程，场景的组件包括LLM节点、Code节点、Branch节点等，优点是可扩展能力强，用户适当使用低码开发，缺点是对话交互智能度不高，复杂场景下分支多，难以维护。 父主题： 开发盘古大模型Agent应用
预测，时间分辨率为24小时，支持预训练、微调、在线推理、能力调测特性，基于Snt9B3，支持1个训练单元训练及1个推理单元部署。 在选择和使用盘古大模型时，了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同
进入详情页查看训练指标、训练任务详情和训练日志。 表1 训练状态说明 训练状态 训练状态含义 已发布 模型已经训练完成并进行发布，用户可以使用模型进行部署、推理操作。 训练完成 模型训练已经成功完成。 训练中 模型正在训练中，训练过程尚未结束。 训练失败 模型训练过程中出现错误，需查看日志定位训练失败原因。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
