检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录环境A的盘古大模型套件平台,在“模型迁移”页面,选择“导出模型”,在导入证书的地方上传环境B下载的证书文件,并选择需要导出的模型和模型导出的obs路径。 图3 导出模型 单击“确定”,导出模型。 模型导出成功后,可以在obs中查看导出后的模型文件。下载该obs文件,上传到环境B对应的obs桶中。 登录
LP模型在训练后可以同时具备文本生成、情感分析等多种能力。 在准备自监督训练数据和有监督微调数据时,除行业数据外,建议混入一定比例的通用数据,防止模型在经过训练后出现通用问答能力下降的情况。 行业数据 : 通用数据的比例按业内经验有1 : 1、1 : 5。实际训练过程中,行业数据
准确且更具针对性的输出,从而提高模型在特定任务上的性能。在创建提示词工程前,可以先使用预置的提示词模板,或基于提示词模板进行改造,如果提示词模板满足不了使用需求,可再单独创建。 提示词模板可以在平台“应用开发 > 提示词管理 > 预置提示词”中获取。 图1 获取提示词模板 父主题:
开通盘古大模型服务 调用模型之前,需要先开通盘古大模型服务。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 文本补全:提供单轮文本能力,常用于文本生成、文本摘要、闭卷问答等任务。 多轮对话:提供多轮文本能力,常用于多轮对话、聊天任务。
用户已经提供了公司名称"方欣科技有限公司",并指定了时间范围为今年1月。我将设置"report_type"为"经营异常风险检测",并将"skssqq"设置为"2024-01-01","skssqz"设置为"2024-01-31"。现在,我将调用工具。 行动:使用工具[risk_detection]
盘古大模型具备文本补全和多轮对话能力,用户在完成盘古大模型套件的订购操作后,需要开通大模型服务,才可以调用模型,实现与模型对话问答。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 文本补全:提供单轮
%(levelname)s: %(message)s') 配置文件敏感信息加密配置 配置项中的认证凭据等信息不建议明文配置在配置文件中,可以通过以下方式扩展自定义的加解密组件: 在一个module(yourmodule)中自定义一个解密方法decrypt_func(key_id, cipher),要求可以通过`from
量差,或学习率设置过大,使得模型在最优解附近震荡,甚至跳过最优解,导致无法收敛。您可以尝试提升数据质量或减小学习率来解决。 图4 异常的Loss曲线:上升 Loss曲线平缓,保持高位:Loss曲线平缓且保持高位不下降的原因可能是目标任务的难度较大,或模型的学习率设置过小,导致模型
并将这些信息整合到大模型生成的答案中,从而提供既准确又及时的答案。 登录盘古大模型套件平台,在左侧导航栏中选择“能力调测”。 单击“多轮对话”页签,选择使用N2系列模型,在页面右侧“参数设置”中可以开启搜索增强功能。 图1 体验搜索增强能力
发布数据集 刚创建的数据集在未发布状态下,无法应用于模型训练,数据集创建、清洗完成后需要执行“发布”操作才可以将该数据集用于后续的任务中。 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据管理”,在“我的数据集”页签找到未发布的数据集,单击操作列“版本发布”执行发布数据集操作。
创建模型评估数据集 在收集评估数据集时,应确保数据集的独立性和随机性,并使其能够代表现实世界的样本数据,以避免对评估结果产生偏差。对评估数据集进行分析,可以帮助了解模型在不同情境下的表现,从而得到模型的优化方向。 在“数据工程 > 数据管理”中创建“评测”类型的数据集作为评估数据集,数据集创建完成后需要执行发布操作。
注意,上述toolList中包含的工具在SDK中并不存在,需要替换成实际的工具。 向ToolRetriever中添加工具: // 添加工具 cssToolRetriever.addTools(toolList); 工具添加后,会存储在向量库的索引中,并将指定的字段向量化。 从ToolRetriever中查找工具:
'EQUAL-TO'}]}}"} 判断数据中的JSON参数是否与Query中的参数对应上。 训练模型 自监督训练: 不涉及 有监督微调: 该场景采用了下表中的微调参数进行微调,您可以在平台中参考如下参数进行训练: 表1 微调核心参数设置 训练参数 设置值 数据批量大小(batch_size)
/v1/{project_id}/deployments/{deployment_id} (/chat/completions在SDK代码中已经进行了设置)。 IAM endpoint需要根据服务所在的区域正确配置,参考帮助文档“终端节点”章节查找。 参考IAM帮助文档,获取账号相关信息。
注意,上述tool_list中包含的工具在SDK中并不存在,需要替换成实际的工具。 向ToolRetriever中添加工具: # 添加工具 css_tool_retriever.add_tools(tool_list) 工具添加后,会存储在向量库的索引中,并将指定的字段向量化。 从ToolRetriever中查找工具:
//用于检查缓存中的数据是否与查询的数据语义相似,如果相似,就返回缓存中的结果对象。这个操作需要使用向量和相似度的计算,以及设置的阈值来判断 //例如,查询“缓存存在?”这个问题和“test-semantic-cache-vector-001”这个会话标识,就可以从缓存中获取到之前保
通过横向比较提示词效果和批量评估提示词效果,如果找到高质量的提示词,可以将提示词发布至“提示词管理”中。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程名称,跳转工程任务下候选提示词页面。
学习率设置得过大,使得模型在最优解附近震荡,甚至跳过最优解,导致无法收敛。您可以尝试提升数据质量或者减小学习率的方式来解决。 图3 异常的Loss曲线:上升 Loss曲线平缓,保持高位:Loss保持平缓且保持高位不下降的原因可能是由于目标任务的难度较大,或者模型的学习率设置得过小
体验盘古预置模型能力前,请先完成申请体验盘古大模型服务操作。 登录盘古大模型套件平台,在左侧导航栏中选择“应用百宝箱”,进入“应用百宝箱”页面。 在“应用市场”页签中,选择场景应用,立即体验应用能力。 图1 应用市场页面 图2 体验应用 在“外部应用”页签中,选择外部应用,单击“继续前往”,页面将跳转至外部应用页面供用户体验。
体验盘古预置模型能力前,请先完成申请体验盘古大模型服务操作。 登录盘古大模型套件平台,在左侧导航栏中选择“应用百宝箱”,进入“应用百宝箱”页面。 在“应用市场”页签中,选择场景应用,立即体验应用能力。 图1 应用市场页面 图2 体验应用 在“外部应用”页签中,选择外部应用,单击“继续前往”,页面将跳转至外部应用页面供用户体验。