检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示词的统一管理。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 单击页面右上角“创建工程”,进入工程任务创建弹窗。输入工程名称、描述,选择行业、标签,工程任务下的所有提示词会同步继承该标签。 图1 创建提示词工程 单击“确定”完成工程创建。
登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 文本补全:提供单轮文本能力,常用于文本生成、文本摘要、闭卷问答等任务。 多轮对话:提供多轮文本能力,常用于多轮对话、聊天任务。 图1 服务管理 图2 申请开通服务
创建自监督微调训练任务 创建自监督微调训练任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型训练”,单击界面右上角“创建训练任务”。 图1 模型训练列表 在训练配置中,设置模型类型、训练类型、训练模型、训练参数和checkpoints等参数。 其中,训练配置选
推理参数(解码参数)是一组用于控制模型生成预测结果的参数,其可以用于控制模型生成结果的样式,如长度、随机性、创造性、多样性、准确性和丰富度等等。 当前,平台支持的推理参数包括:温度、核采样以及话题重复度控制,如下提供了这些推理参数的建议值和说明,供您参考: 表1 推理参数的建议和说明 推理参数
当前仅盘古-NLP-N4系列模型以及基于它们训练的模型支持外推。 图1 模型部署外推升级 扩缩容部署实例数量 扩缩容是指运行中的模型支持增加或减少模型部署的实例数。 修改部署时扩缩容和外推场景互斥,每次只能修改一个。 图2 修改部署 图3 模型部署扩缩容 父主题: 部署盘古大模型
回答,解决特定领域问题回答不准的现象。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 知识库管理”,单击页面右上角“创建知识库”。 知识库分为自定义知识库、引用知识库。 自定义知识库:通过盘古大模型套件平台创建的知识库。 引用知识库:引用在KooSearch服务中创
多轮对话:基于对话问答功能,用户可以与模型进行自然而流畅的对话和交流。 图1 服务管理 图2 申请开通服务 您可按照需要选择是否开启内容审核。 开启内容审核后,可以有效拦截大模型输入输出的有害信息,保障模型调用安全,推荐进行开启。 图3 大模型内容审核 盘古大模型支持通过对接内容审核,实现拦截
能力,常用于文本生成、文本摘要、闭卷问答等任务。 对话问答(多轮对话):多轮对话接口提供多轮文本能力,常用于多轮对话、聊天任务。 图1 服务管理 图2 申请开通服务 登录“我的凭证 > 访问密钥”页面,依据界面操作指引获取Access Key(AK)和Secret Access
下越小越好。 您可以从平台的训练日志中获取到每一步的Loss,并绘制成Loss曲线,来观察其变化趋势。一般来说,一个正常的Loss曲线应该是单调递减的,即随着训练的进行,Loss值不断减小,直到收敛到一个较小的值。 以下给出了几种正常的Loss曲线形式: 图1 正常的Loss曲线:平滑下降
模型经过量化压缩后,不支持评估操作,但可以进行部署操作。 创建模型压缩任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型压缩”。 单击界面右上角“创建压缩任务”,进入创建压缩任务页面。 图1 模型压缩 选择需要进行压缩的模型执行模型压缩,压缩策略为“INT8”。当压缩模型
用不同的工具,实现相应的功能。在创建AI助手前,需要将使用的功能封装为工具。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 工具管理”,单击页面右上角“创建工具”。 图1 工具管理 在“创建工具”页面参考表1完成工具代码的设置。 表1 创建工具参数说明 参数 是否必选
据集用于后续的任务中。 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据管理”,在“我的数据集”页签找到未发布的数据集,单击操作列“版本发布”执行发布数据集操作。 对不再使用的数据集可以单击“版本收回”撤销当前版本。 图1 发布数据集 父主题: 准备盘古大模型训练数据集
合到大模型生成的答案中,从而提供既准确又及时的答案。 登录盘古大模型套件平台,在左侧导航栏中选择“能力调测”。 单击“多轮对话”页签,选择使用N2系列模型,在页面右侧“参数设置”中可以开启搜索增强功能。 图1 体验搜索增强能力
创建数据集时会对相关限制条件进行校验。 数据参考格式 图1 数据参考格式 图2 数据示例 创建提示词评估数据集 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 提示用例管理”。 图3 提示用例管理 单击页面右上角“创建提示用例集”,进入创建弹窗。 单击存储位置最右侧的图标,选择数据集文件所对应的
可以在“我的数据集”页签中,单击操作栏中的“更多 > 检测”,重新校验数据集。历史存量未校验过的数据集也可以进行重新校验。 图2 重新校验数据集质量1 图3 重新校验数据集质量2 父主题: 准备盘古大模型训练数据集
协议》。 启用内容审核服务 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,单击“开启内容审核”,进行授权。 图1 内容审核授权 购买内容审核套餐包,使用“文本补全”、“多轮对话”功能时需要购买“文本内容审核”套餐包。 图2 购买内容审核套餐包 父主题: 调用盘古大模型
创建AI助手 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > AI助手”,单击页面右上角“创建助手”。参考表1完成AI助手匹配。 表1 创建AI助手参数说明 参数分类 参数名称 参数说明 基本信息 助手名称 设置AI助手的名称。 描述 填写AI助手的描述,如填写功能介绍。
Token计算器 功能介绍 为了帮助用户更好地管理和优化Token消耗,平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量,提供费用预估,并优化数据预处理策略。 URI POST /v1/{project_id}/deployment
障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施
型的SDK代码。 图1 获取SDK代码示例 当您在中间填充栏填入对应内容时, 右侧代码示例会自动完成参数的组装。 图2 设置输入参数 填写输入参数时,deployment_id为模型部署ID,可以在盘古大模型套件平台“服务管理”功能中获取。 图3 服务管理 图4 获取deployment_id