检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
info查看驱动是否已安装。如果有回显npu卡信息,说明驱动已安装。 详情请参见昇腾官方文档。 hccn too网卡配置。 执行如下命令,查看是否有回显网卡信息。如果有,则说明网卡已经配置,否则继续操作下面步骤。 cat /etc/hccn.conf 执行如下命令,查看npu卡数。
管理模型资产、推理资产 查看模型资产与模型推理资产 用户购买盘古大模型套件后,可以在“平台管理 > 资产管理”中查看购买的模型资产和模型推理资产。 图1 查看模型资产 图2 查看模型推理资产 续订模型推理资产 模型推理资产到期后,可以进行续订操作。 在“平台管理 > 资产管理 >
清洗。 数据清洗模板获取方式如下: 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据清洗”,进入“清洗模板”页面,在该页面查看预置的数据清洗模板。 图1 获取数据清洗模板 父主题: 清洗数据集(可选)
确认训练过程是否出现了过拟合或欠拟合等异常情况。 模型评估:使用平台的“模型评估”功能,“模型评估”将对您之前上传的测试集进行评估。通过查看测试集样本的PPL、BLEU和ROUGE等指标,进行横向(相同训练数据+不同规格的通用模型)或纵向(不同训练数据训练的多个模型版本)对比来判断训练过程是否出现了问题。
设置候选提示词 用户可以将效果较好的提示词设为候选提示词,并对提示词进行比对查看效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务操作栏中的“撰写”。 图1 撰写提示词
功能将本局点训练的模型导出,或将其他局点训练的模型导入本局点进行使用。 支持迁移操作的模型可以在“模型开发 > 模型管理 > 我的模型”中查看。 图1 模型管理 导入/导出模型 以从环境A迁移模型到环境B为例: 登录环境B的盘古大模型套件平台,在“模型开发 > 模型管理”页面,单击右上角的“模型迁移”。
预览提示词效果 提示词撰写完成后,可以通过输入具体的变量值,组成完整的提示词,查看不同提示词在模型中的使用效果。 在撰写提示词页面,找到页面右侧变量输入区域,在输入框中输入具体的变量值信息。 输入变量值后预览区域会自动组装展示提示词。用户也可以直接选择已创建的变量集填入变量值信息
度分布。 检测数据集质量 在“数据工程 > 数据管理”页面,选择“我的数据集”或者“训练数据集”页签。 单击数据集名称,进入数据集详情页,查看详细的数据质量。 其中,数据长度按照token长度划分为2K以下、2K-4K、4K-8K等多个区间,用户可以参考模型训练所需数据量与数据格式要求,调整训练数据。
间的映射关系。 创建有监督训练任务 模型评估 创建模型评估任务 训练完成后评估模型的回答效果。 创建模型评估任务 查看模型评估结果 查看模型评估指标和评估结果。 查看评估任务详情 模型压缩 - 通过模型压缩技术实现同等QPS目标下,降低推理显存占用。 压缩盘古大模型 模型部署 -
使用API调用模型前,需要先开通盘古大模型服务。 使用Postman调用API 获取API请求地址。 在“服务管理”页面,单击所需API的“查看详情”按钮。 图1 服务管理 在“模型列表”中选择需要调用的模型,单击操作栏中的“调用路径”,复制对应模型的API请求地址。 图2 获取API请求地址
云审计服务(Cloud Trace Service,CTS)是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后,CTS可记录用户使用盘古的管理事件和数据事件用于审计。
源名称,类型选择“边缘部署”,输入需要订购的推理算力,单击“确认订单”。 订购完成后,进入“平台管理 > 资产管理 > 模型推理资产”,可查看订购的边缘部署资产。 父主题: 部署为边缘服务
可以在“模板”页签查看,也可以返回数据清洗列表,在“清洗模板 > 我的模板”中查看。 图5 发布模板 清洗流程搭建完成后,单击界面右上角“完成创建”。 单击清洗任务列表操作栏中的“启动”,启动清洗任务。 清洗任务完成后,可以单击“任务名称”,在任务详情页面,查看任务详情、评估指标、清洗明细及清洗流程图。
模型会更倾向于使用不常见的词汇。 历史对话保留轮数 选择要包含在每个新API请求中的过去消息数。这有助于为新用户查询提供模型上下文。参数设置为10,表示包括5个用户查询和5个系统响应。该参数只涉及多轮对话功能。 体验预置模型文本补全能力 进入“文本补全”页签,选择模型与示例,参数
模型会更倾向于使用不常见的词汇。 历史对话保留轮数 选择要包含在每个新API请求中的过去消息数。这有助于为新用户查询提供模型上下文。参数设置为10,表示包括5个用户查询和5个系统响应。该参数只涉及多轮对话功能。 体验预置模型文本补全能力 进入“文本补全”页签,选择模型与示例,参数
Explorer可根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码。 图1 获取SDK代码示例 当您在中间填充栏填入对应内容时, 右侧代码示例会自动完成参数的组装。 图2 设置输入参数
并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,
评估盘古大模型 创建模型评估数据集 创建模型评估任务 查看评估任务详情
批量评估提示词效果 创建提示词评估数据集 创建提示词评估任务 查看提示词评估结果 父主题: 提示词工程
训练盘古大模型 选择模型与训练方法 创建训练任务 查看训练任务详情与训练指标 常见训练报错与解决方案