云服务器内容精选

  • 使用流程 通过图1您可以了解如何在AI原生应用引擎创建数据集、创建微调任务、部署推理模型以及在线测试模型效果。 图1 模型调优流程 创建微调数据集 数据集是模型微调的基础,首先需要创建用于模型训练的数据集。 创建模型微调流水线 通过模型微调任务进行模型训练,微调任务结束后,将生成改进后的新模型。 部署模型 模型部署是通过为基座模型(即原模型)和微调后的新模型创建用于预测的模型服务的过程实现。 测试模型调优效果 在线测试微调后的模型(输入问题发起请求获取数据分析结果),可检验模型的准确性、可靠性及反应效果。 清除相应资源 对于不再需要使用的微调任务和模型服务,及时清除相应资源,避免不必要的扣费。
  • 管理单项测试结论 在“测试评估”页面选择“测试结论”页签,系统预置了四个测试类型:遗留DI值、功能评估、性能评估和安全评估。 单击“新增”,在“新增测试结论”页面,设置测试结论相关参数,如图5所示,参数说明请参见表5,设置完成后单击“确定”。 图5 编辑测试结论 表5 测试结论参数说明 参数名 参数说明 测试类型 输入测试类型。 测试结论 根据实际情况可设置为:通过、不通过或不涉及。 评估说明(可选) 测试评估的相关说明。 附件(可选) 单击“添加文件”,最多可上传一个附件文件辅助测试评估的说明,且只能上传ZIP、RAR、DOCX、DOC、XLS、XLSX格式文件,文件不能超过50MB。 说明: 用户需对自己上传文件的安全风险负责,开发中心不对用户自己上传的文件做任何处理。 添加文件后,如需变更文件,可光标移至文件,在文件右侧单击,将旧文件删除后,再单击“添加文件”重新上传新文件。 (可选)在测试结论列表操作列单击“编辑”,在“编辑测试结论”页面可编辑测试评估的相关信息,参数说明可参见表5。 (可选)在测试结论列表操作列单击“删除”,在“删除测试结论”对话框单击“确定”,可删除不需要的测试类型及其结论。 系统预置的四个测试类型(遗留DI值、功能评估、性能评估、安全评估)不可删除。
  • 管理交付件 交付件是版本开发过程不同阶段所需或交付的必要文档,在管理交付件页面,系统内置了例如产品需求文档、升级指导书、版本配套表等交付件的模板,可下载后参考模板写作完成后再上传至版本团队进行管理和交付,保证版本开发过程阶段性成果沉淀以及过程可追溯。 在“交付件管理”页面的交付件列表中,在无文档的交付件所在行的“操作”列单击“创建文档”。 在“上传文档”对话框,选择“交付方式”为“离线文档”,单击“添加文件”将本地已准备好的文档进行上传(只能上传ZIP、RAR、DOCX、DOC、XLS、XLSX格式的文件,且文件大小不能超过50MB)。 单击“确定”,上传离线文档成功。 (可选)如需更新离线文档,具体操作如下: 返回“交付件管理”页面的交付件列表中,在“交付方式”为“离线文档”的交付件所在行的“操作”列单击“更新文档”。 在“更新文档”对话框中,鼠标移至已有文档所在行并单击。 在“删除文件”对话框,单击“确认”,删除旧离线文档。 单击“添加文件”,将本地已准备好的新文档进行上传。 单击“确定”,更新离线文档成功。 (可选)如需删除离线文档,具体操作如下: 返回“交付件管理”页面的交付件列表中,在“交付方式”为“离线文档”的交付件所在行的“操作”列单击“删除文档”。 在“删除文件”对话框,单击“确认”,即可删除不需要的离线文档。
  • 管理关键风险 在“测试评估”页面选择“关键风险”页签,然后单击“新增”。 在“新增关键风险”页面,如图6所示,参数说明请参见表6。 图6 新增关键风险 表6 关键风险参数说明 参数名 参数说明 风险描述 风险问题的描述。 级别 区分三个级别:低、中、高 影响分析 风险问题的相关影响分析。 规避措施和计划 规避该风险问题的相关措施和计划。 单击“确定”。新增的关键风险显示在风险列表中。 (可选)在风险列表“操作”列单击“编辑”,在“编辑关键风险”页面可编辑风险问题的相关信息,参数说明可参见表6。 (可选)在风险列表“操作”列单击“删除”,在“删除风险”对话框确认删除的风险问题并单击“确定”,即可删除相应的风险问题。
  • 操作指引 图1 编排Agent的流程 表1 编排Agent的流程详解 序号 流程环节 说明 1 创建及发布Agent 将准备好的模型服务、工具、工作流、知识库等编排成Agent应用,并将应用程序及相关组件进行发布,使其能够正常运行。 2 体验Agent Agent体验是指以对话的形式,对创建的Agent或平台资产中心预置的AI应用进行体验调测,以发现并解决Agent接口上的问题和错误。 3 使用Agent 支持通过API接口调用或Web界面访问两种方式使用Agent。
  • 创建索引配置 知识数据集创建完成后,单击“下一步”,进入索引配置页面。 在索引配置页面,参照表2进行相关参数的配置。 表2 索引配置参数说明 参数 说明 索引配置名称 自定义索引配置名称。支持中英文、数字、下划线(_),长度2-50个字符,以中英文、数字开头。 索引描述 索引配置的描述信息。 向量化模型 选择向量化模型,向量化模型是将文本数据转换为数值向量的过程。常用于将文本转换为机器可以处理的形式,以便进行各种任务,如文本分类、情感分析、 机器翻译 等。 当前向量化模型支持的最大长度为512 token,对应的中文约为512个字,英文与符号约900个字符,请注意分片长度。 长文本截断策略 截断模式:如果待向量化分片字段token长度超过向量化模型限制的token总数,则进行截断,取前top k个token。 智能模式:如果待向量化分片字段token超过向量化模型限制的token总数,首先利用对话大模型对超长分片进行重写,如果仍然超长则进入截断模式。 默认模式:如果待向量化分片字段token长度超过了向量化模型限制的token总数,则创建知识库失败。 切片配置 根据需要勾选如下参数: 向量化检索字段:对相应的切片片段进行向量化。 文本过滤字段:设置相应的切片片段为过滤字段。 检索返回字段:检索返回相应的切片片段。 单击“创建数据集和索引配置”,创建的数据集和索引配置显示在“知识数据集”页面的数据集列表中。
  • 前提条件 通过OBS( 对象存储服务 )接入数据时,操作账号需获得OBS只读权限,具体操作请参见对其他账号授予桶的读写权限。 需具备充足的知识库容量包资源(包含OBS存储配额和向量库存储配额,两者比例为5:1),每个租户默认具备5G的OBS存储配额,默认配额耗完后,请参考购买AppStage购买知识库容量包。 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。
  • 使用Agent Web UrI 直接打开Web链接访问应用。 如果创建Agent时,使用配置变量的方式实现了记忆能力,体验时输入变量值,作为Agent记忆信息存储,单击“保存”。 在Agent的对话输入框输入问题,按Enter键或单击使用Agent。 如果创建Agent时,使用配置变量的方式实现了记忆能力,在使用Agent时,会自动识别对话与变量匹配的内容,自动更新变量取值,单击页面右上角的“变量”,可以查看变量使用效果。 如果创建Agent时,开启了“片段记忆”,在使用Agent时,会自动识别并保留用户个性化信息,单击页面右上角的“片段记忆”,可以查看片段记忆使用效果。 如果创建Agent时,开启了“文件盒子”,根据以下操作体验文件盒子: 单击对话框右上角的“文件盒子”,上传文件。 只支持上传pdf、docx、txt等纯文本文件,文件大小小于10M。 文件上传完成后,在“编辑文件盒子”弹窗中,单击文件列表操作列的。 在对话输入框对引用文件提问,Agent会根据输入问题对引用文件进行回答、解读。 对于Agent生成的答案可以进行复制、点赞、点踩等。 :重新生成答案。 :复制答案。 :对答案点赞。 :对答案点踩。 API地址 可参考调用Agent进行使用。
  • 调优大模型的流程 图2 调优大模型的流程 表2 调优大模型的流程详解 序号 流程环节 说明 1 基于微调数据集进行模型微调 创建微调数据集 收藏预置微调数据集 对于需要个性化定制模型或者在特定任务上追求更高性能表现的场景,往往需要对大语言模型进行模型微调以适应特定任务。微调数据集是模型微调的基础,通过在微调数据集上进行训练从而获得改进后的新模型。 创建模型微调任务 模型微调是指调整大型语言模型的参数以适应特定任务的过程,适用于需要个性化定制模型或者在特定任务上追求更高性能表现的场景。这是通过在与任务相关的微调数据集上训练模型来实现的,所需的微调量取决于任务的复杂性和数据集的大小。在深度学习中,微调用于改进预训练模型的性能。 2 生成模型服务 将已有模型部署为模型服务 接入模型服务 模型需要部署成功后才可正式提供模型服务。部署成功后,可以对模型服务进行模型调测,并支持在创建Agent时使用或通过模型调用接口调用。 3 调测模型 通过调测模型,可检验模型的准确性、可靠性及反应效果,发现模型中存在的问题和局限性,确保模型能够在实际应用中正常运行,并且能够准确地预测和处理数据。
  • 编排Agent的流程 图1 编排Agent的流程 表1 编排Agent的流程详解 序号 流程环节 说明 1 创建及发布Agent 将准备好的模型服务、工具、工作流、知识库等编排成Agent应用,并将应用程序及相关组件进行发布,使其能够正常运行。 2 体验Agent Agent体验是指以对话的形式,对创建的Agent或平台资产中心预置的AI应用进行体验调测,以发现并解决Agent接口上的问题和错误。 3 使用Agent 支持通过API接口调用或Web界面访问两种方式使用Agent。
  • AI原生应用引擎使用前准备 使用AI原生应用引擎前,需要先准备如表1所示内容。 表1 准备事项 准备事项 说明 购买AI原生应用引擎 首次使用需要先购买AI原生应用引擎,具体操作请参见购买AppStage。 为AppStage关联组织 首次购买AppStage后,其账号需创建并关联使用AppStage的组织(仅可关联一个组织),才能使用AppStage服务及后续购买AppStage相关产品套餐或增量包等,具体操作请参见关联组织。 添加部门/成员信息 为已关联的组织添加部门及成员,完善组织架构,具体操作请参见组织管理。 申请权限 已添加成员在使用AI原生应用引擎前需要先申请AI原生应用引擎权限,具体操作请参见申请权限。
  • 更多操作 创建数据集完成后,可根据需要执行如表2所示的操作。 表2 更多操作 操作 步骤 查看数据集详情 在“微调数据集”页面选择“我创建的”页签。 在数据集列表中单击数据集名称,在微调数据集详情页面查看数据概况、调度历史等。 修改数据集 在“微调数据集”页面选择“我创建的”页签。 在数据集列表勾选数据集并单击“操作”列的“修改”。 在“修改数据集”页面,仅支持修改数据集描述、修改标签名称。 删除数据集 单个删除数据集: 在“我的数据集”页面选择“我创建的”页签。 在数据集列表勾选单个数据集,然后选择“操作”列的“删除”。 单击“确认”。 批量删除数据集: 在“我的数据集”页面选择“我创建的”页签。 在数据集列表勾选多个数据集,再单击列表上方“批量删除”。 在“批量删除”对话框,单击“确认”。 说明: 被标注的数据集无法删除。 标注数据集 说明: 只有格式为“对话文本”的数据集才可进行标注。 调度类型为“一次性调度”的数据集才可进行标注。 需要先在对微调数据集进行数据标注中创建标注任务,才能在当前页面执行数据标注。 在数据集列表中,单击数据集记录前的。 单击版本列表操作列的“标注”,参照对微调数据集进行数据标注进行数据标注。
  • 体验资产中心预置的AI应用 在AI原生应用引擎的左侧导航栏选择“资产中心”。 在资产中心页面,选择“AI应用”页签。 将鼠标光标移至应用卡片上,单击“体验”。 在Agent体验页面的对话输入框输入问题,按Enter键或单击进行体验。 对于Agent生成的答案可以进行复制、点赞、点踩等。 :重新生成答案。 :复制答案。 :对答案点赞。 :对答案点踩。 单击应用卡片,进入Agent详情页面,在“对话日志”页签中可以查看所有问答的对话日志。
  • 发布Agent Agent发布后,用户即可通过API接口调用或Web界面进行访问。 Agent创建完成后,在创建页面单击“发布”。 也可以在“我创建的”列表中,单击Agent列表操作列的“发布Agent”,进入发布页面。 选择发布渠道并设置发布密钥,单击“发布”。 表3 发布参数说明 参数 说明 选择发布渠道 API:以API的方式发布Agent,发布成功后可复制API地址进行分享。 Web UrI:以Web Url的方式发布Agent,发布成功后可复制Web链接进行分享。 设置发布密钥 设置该密钥是确保发布分享Agent后,用户能正常调用Agent相关联的模型、工具、工作流和知识库。 API Key:输入API Key。 说明: 仅AI原生应用引擎管理员角色可以创建API Key,请通过管理员获取API Key。 发布后,在Agent列表的“复制发布地址”列,单击或,复制发布地址进行分享。
  • 操作指引 图1 模型使用操作指引 表1 模型使用流程详解 序号 流程环节 说明 1 基于微调数据集进行模型微调 创建微调数据集 收藏预置微调数据集 对于需要个性化定制模型或者在特定任务上追求更高性能表现的场景,往往需要对大语言模型进行模型微调以适应特定任务。微调数据集是模型微调的基础,通过在微调数据集上进行训练从而获得改进后的新模型。 创建模型微调任务 模型微调是指调整大型语言模型的参数以适应特定任务的过程,适用于需要个性化定制模型或者在特定任务上追求更高性能表现的场景。这是通过在与任务相关的微调数据集上训练模型来实现的,所需的微调量取决于任务的复杂性和数据集的大小。在深度学习中,微调用于改进预训练模型的性能。 2 生成模型服务 将已有模型部署为模型服务 自建模型并发布为模型服务 模型需要部署成功后才可正式提供模型服务。部署成功后,可以对模型服务进行模型调测,并支持在创建Agent时使用或通过模型调用接口调用。 3 调测模型 通过调测模型,可检验模型的准确性、可靠性及反应效果,发现模型中存在的问题和局限性,确保模型能够在实际应用中正常运行,并且能够准确地预测和处理数据。