检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基于NL2JSON助力金融精细化运营 场景介绍 在金融场景中,客户日常业务依赖大量报表数据来支持精细化运营,但手工定制开发往往耗费大量人力。因此,希望借助大模型消除语义歧义性,识别用户查询意图,并直接生成支持下游操作的结构化JSON信息。大模型的NL2JSON能力可以从自然语言输
知识库介绍 平台提供了知识库功能来管理和存储数据,支持为应用提供自定义数据,并与之进行互动。 知识库支持导入以下格式的本地文档: 文本文档数据。支持上传常见文本格式,包括:txt、doc、docx、pdf、ppt、pptx格式。 表格数据。支持上传常见的表格文件格式,便于管理和分
<filename>bike_1_1593531469339.png</filename> <source> <database>Unknown</database> </source> <size> <width>554</width>
盘古专业大模型是盘古百亿级NL2SQL模型,适用于问数场景下的自然语言问题到SQL语句生成,支持常见的聚合函数(如去重、计数、平均、最大、最小、合计)、分组、排序、比较、条件(逻辑操作、离散条件、范围区间等条件的混合和嵌套)、日期操作,支持多表关联查询。 与非专业大模型相比,专业大模型针对特定场景优化,更适
预测类数据集格式要求 平台支持创建预测类数据集,创建时可导入时序数据、回归分类数据。 时序数据:时序预测数据是一种按时间顺序排列的数据序列,用于预测未来事件或趋势,过去的数据会影响未来的预测。 回归分类数据:回归分类数据包含多种预测因子(特征),用于预测连续变量的值,与时序数据不
数据工程 ModelArts Studio开发平台提供了全面的数据工程功能。该模块涵盖数据获取、加工、标注、评估和发布等关键环节,帮助用户高效构建高质量的训练数据集,推动AI应用的成功落地。具体功能如下: 数据获取:用户可以轻松将多种类型的数据导入ModelArts Studio
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于Pangu服务接口,如果调用后返回状态码为“200”,则表示请求成功。 响应消息头 对应请求消息
如何判断盘古大模型训练状态是否正常 判断训练状态是否正常,通常可以通过观察训练过程中Loss(损失函数值)的变化趋势。损失函数是一种衡量模型预测结果和真实结果之间的差距的指标,正常情况下越小越好。 您可以从平台的训练日志中获取到每一步的Loss,并绘制成Loss曲线,来观察其变化
次都会遍历整个数据集一次。取值范围:[1-1000]。 损失类型 用来衡量模型预测结果与真实结果之间的差距的函数,提供MAE(平均绝对误差)、MSE(均方误差)两种损失函数。 MSE对于异常值非常敏感,因为它会放大较大的误差。因此,如果您数据中没有异常值,或者希望模型对大的误差给予更大的惩罚,可选择MSE。
如根据测井数据,识别储层中的油、气、水等流体类型。 2024年12月发布的版本,支持分析历史数据中的特征与类别的关系,学习出一种映射规则或函数,然后应用这个规则对未来未知的数据点进行分类。 Pangu-Predict-Table-Reg-2.0.0 该模型属于回归模型,用于预测连
Pangu-Predict-Table-Cla-2.0.0 2024年12月发布的版本,支持分析历史数据中的特征与类别的关系,学习出一种映射规则或函数,然后应用这个规则对未来未知的数据点进行分类。 Pangu-Predict-Table-Reg-2.0.0 2024年12月发布的版本,支
没有很好地捕捉到数据特征,不能够很好地拟合数据。 损失函数 损失函数(Loss Function)是用来度量模型的预测值f(x)与真实值Y的差异程度的运算函数。它是一个非负实值函数,通常使用L(Y, f(x))来表示,损失函数越小,模型的鲁棒性就越好。 推理相关概念 表3 训练相关概念说明
使用数据工程构建预测大模型数据集 预测大模型支持接入的数据集类型 盘古预测大模型仅支持接入预测类数据集,不同模型所需数据见表1,该数据集格式要求请参见预测类数据集格式要求。 表1 预测大模型与数据集类型对应关系 基模型 模型分类 数据集内容 文件格式 预测大模型 时序预测模型 时序数据
数据工程使用流程 高质量数据是推动大模型不断迭代和优化的根基,它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据,才能提取出有价值的信息,从而更好地支持模型训练。因此,数据的采集、清洗、标注、评估、发布等环节,成为数据开发中不可或缺的重要步骤。
使用10个模型进行训练,其中5个是LightGBM模型,另外5个是推荐的不同模型。 日期列名 日期列的列名。例如,["date"]表示csv数据中date列为日期列,默认设置为[],表示没有日期列,选择全部数据做训练。 标识列 在时间序列中可以定义粒度的id相关的列。 历史窗口大小
学习率衰减比率 用于控制训练过程中学习率下降的幅度。 计算公式为:最低学习率 = 初始学习率 × 学习率衰减比率。 权重衰减系数 通过在损失函数中加入与模型权重大小相关的惩罚项,鼓励模型保持较小的权重,防止过拟合或模型过于复杂。 优化器 优化器参数用于更新模型的权重,常见包括adamw。
针对pdf的内容,去除“1.1Java简介”之前的与知识无关的内容:[\s\S]{0,10000} 1\. 1Java简介 日期时间格式转换 自动识别日期、时间、星期,同时根据选择的格式进行统一转换。 数据过滤 异常字符过滤 查找数据集每一条数据中携带的异常字符,并将异常字符替换为空值,数据条目不变。
深度定制 示例配置 用户配置的示例内容,配置后会在大模型的请求中添加“#示例 {{用户配置的内容}}”。 输入改写 日期时间改写 开启后,用户问题涉及日历、日期及时间相关内容时,系统将进行运算,补充具体时间点,以便大模型更准确的理解。 节点配置完成后,单击“确定”。 连接大模型节点和其他节点。
明确任务需求 需要站在模型的角度理解相关任务的真实底层任务,并清晰描述任务要求。 例如,在文档问答任务中,任务本质不是生成,而是抽取任务,需要让模型“从文档中抽取出问题的答案,不能是主观的理解或解释,不能修改原文的任何符号、字词和格式”, 如果使用“请阅读上述文档,并生成以下问题
Agent开发常见报错与解决方案 工作流常见错误码与解决方案 工作流常见报错及解决方案请详见表1。 表1 工作流节点常见报错与解决方案 模块名称 错误码 错误描述 解决方案 开始节点 101501 开始节点全局配置未传入值。 开始节点错误,请联系客服解决。 结束节点 101531