检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
rovider, vector_config) 定义一个ToolRetriever包含2个参数,一个ToolProvider,一个向量数据库配置。其中,ToolProvider的作用为根据工具检索的结果组装工具。 上述例子使用了一个简单的InMemoryToolProvider,
gap镜像。 npu驱动和固件安装。 执行命令npu-smi info查看驱动是否已安装。如果有回显npu卡信息,说明驱动已安装。 详情请参见昇腾官方文档。 hccn too网卡配置。 执行如下命令,查看是否有回显网卡信息。如果有,则说明网卡已经配置,否则继续操作下面步骤。 cat
强模型的泛化能力。 回答的风格或格式有特殊要求:虽然通用模型学习了相当可观的基础知识,但如果目标任务要求回答必须符合特定的风格或格式,这将造成和基础知识的数据分布差异。例如,需要模型使用某银行客服的口吻进行线上问答,此时需要使用符合该银行风格和格式的数据集进行微调,以提升模型的遵循度。
校验数据中是否存在表情符号,如 ⛪ 璉等,常见表情符清单请参见Full Emoji List。 空值校验 校验数据中是否存在空字符串。 异常格式校验 检查数据是否满足数据格式要求。 冗余换行符校验 检查数据中是否存在连续两个及以上的换行符。 表2 健康度状态说明 正常数据量 健康度颜色 是否可用于训练
作,获取政府部门提供的内部脱敏数据等。相关的数据格式包括但不限于:在线网页、离线word文档、离线txt文件、离线excel表格、离线PDF文件、扫描版word文档、扫描版PDF文件等。 微调数据要求: 数据格式样例:JSONL格式,每行是一条JSON,包含“context”和“target”两个字段。示例如下:
oc/docx/ppt/pptx/xls/xlsx/png/jpg/jpeg/bmp/gif/tiff/webp/pcx/ico/psd等格式文档。 初始化 根据相应解析接口定义DocSplit类,以使用华为Pangu DocSplit为例。 其中,filePath指的是需要解析
toolDesc = "资产注册查询", toolPrinciple = "请在需要查询各个公司的资产注册情况时调用此工具", inputDesc = "需要查询的公司名称,一次只支持查询一家公司", outPutDesc = "公司的资产注册规模") public class
oc/docx/ppt/pptx/xls/xlsx/png/jpg/jpeg/bmp/gif/tiff/webp/pcx/ico/psd等格式文档。 初始化:根据相应解析接口定义DocSplit类。以使用华为Pangu DocSplit为例: import com.huaweicloud
创建一个新的数据集 检测数据集质量 清洗数据集 发布数据集 模型开发套件 模型开发套件是盘古大模型的核心组件,提供从模型创建到部署的一站式解决方案。该套件具备模型管理、训练、评估、压缩、部署、推理和迁移等功能,支持模型的自动化评估,确保模型的高性能和可靠性。 通过高效的推理性能和跨平台迁移工具,模
准备盘古大模型训练数据集 训练数据集创建流程 模型训练所需数据量与数据格式要求 创建一个新的数据集 检测数据集质量 清洗数据集(可选) 发布数据集 创建一个训练数据集
是华为云推出的集数据管理、模型训练和模型部署为一体的一站式大模型开发与应用平台。平台提供了包括盘古大模型在内的多种大模型服务,支持大模型的定制开发,并提供覆盖全生命周期的大模型工具链。 盘古大模型为开发者提供了一种简单高效的方式来开发和部署大模型。通过数据工程、模型开发和应用开发
单栏文字版PDF文档读取 解析PDF文档。数据集文件类型为PDF时显示。 word文本读取 解析WORD文档,支持doc和docx格式。 html格式读取 解析HTML文件。 父主题: 清洗数据集(可选)
演的角色、指定可以访问的工具、设置结果的输出风格等。 模型配置 嵌入模型 用于对AI助手进行任务规划、工具选择和生成回复。 模型版本 选择与“嵌入模型”对应的版本。例如,嵌入模型为N2系列,则模型版本也为N2。 工具配置 网页搜索 开启网页搜索后,可以通过调用web搜索来解决模型对于事实类问题回答不好的现象。
宣传文案样例2: YYYY 注意:宣传文案中需要包含产品名称;需要突出产品特性;不超过40个字。 输出格式:宣传文案:xxx 微调数据要求: 数据格式样例:JSONL格式,每行是一条JSON,包含“context”和“target”两个字段。示例如下: {"context":
创建一个训练数据集 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据管理”,单击界面右上角“创建数据集”。 图1 数据管理 在创建数据集弹出框中选择“创建一个训练数据集”,单击“创建”。 图2 创建训练数据集 进入训练数据集页面后,需要进行训练配置、数据配置和基本配置。 训练配置
上下文:包含外部信息或额外的上下文信息,引导语言模型更好地响应。 输入数据:用户输入的内容或问题。 输出指示:指定输出的类型或格式。 提示词所需的格式取决于您想要语言模型完成的任务类型,以上要素并非都是必须的。 提示词工程使用流程 盘古大模型套件平台可以辅助用户进行提示词设计、
创建IAM用户,并加入用户组 使用主账号登录IAM服务控制台。 左侧导航窗格中,选择“用户”页签,单击右上方的“创建用户”。 图6 创建用户 配置用户基本信息。 配置用户信息时,需要勾选“编程访问”,如果未勾选此项,会导致IAM用户无法使用盘古服务API、SDK。 图7 配置用户基本信息 单击“下
的问题。问题和答案需要匹配,且不能有空值。 文件类型为CSV:每一行代表一个问答对,确保每个问题和答案的数据都以逗号分隔,每行的数据完整且格式正确,文件中每个字段或列都应有适当的数据类型,例如文本、数值、日期等。每一段需要准确完整的语义,符合主流价值观,并且文本中不能存在异常字符
AI助手 什么是AI助手 配置AI助手工具 配置知识库 创建AI助手 调测AI助手 调用AI助手API
应用增强功能”。用户可根据需求自行选择功能模型,输入资源名称,类型选择“边缘部署”,输入需要订购的推理算力,单击“确认订单”。 订购完成后,进入“平台管理 > 资产管理 > 模型推理资产”,可查看订购的边缘部署资产。 父主题: 部署为边缘服务