检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户将存储在OBS服务中的数据导入至ModelArts Studio大模型开发平台后,将生成“原始数据集”被平台统一管理,用于后续加工或发布操作。 创建导入任务 创建导入任务前,请先按照数据集格式要求提前准备数据。 平台支持使用OBS服务导入数据,请详见通过控制台快速使用OBS。 创建导入任务步骤如下:
和道德性。 同质数据处理 :同质的数据可能导致模型的偏倚和过拟合。可以使用哈希算法或文本相似度测量方法来检测并去除重复的数据条目。 典型的数据加工方法及示例见表1 典型数据加工方法。ModelArts Studio平台已经集成了常见的数据加工算子,可以参考《用户指南》“使用数据工程构建数据集
盘古大模型提供了REST(Representational State Transfer)风格的API,支持您通过HTTPS请求调用,调用方法请参见如何调用REST API。 调用API时,需要用户网络可以访问公网。 父主题: 使用前必读
为什么大家都说熊爪面包贼好吃? 熊爪面包,松软的秘密在哪里? 让你欲罢不能的熊爪面包,了解一下! 熊爪面包,松软得让人无法抗拒! 参数的选择没有标准答案,您需要根据任务的实际情况进行调整,以上建议值仅供参考。 父主题: 盘古NLP大模型调优实践
String 存储类型,取值为obs。 data 是 Array of ObsStorageDto objects 输入数据的OBS信息。 表5 ObsStorageDto 参数 是否必选 参数类型 描述 bucket 是 String 输入数据的OBS桶名称。 path 是 String
{conversation_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见获取项目ID。 agent_id 是 String Agent ID,获取方式如下: 在“Agent开发”页面,左侧导航栏选择“工作台
并单击“创建评估”。 图1 创建评估 选择评估使用的变量数据集和评估方法。 评估用例集:根据选择的数据集,将待评估的提示词和数据集中的变量自动组装成完整的提示词,输入模型生成结果。 评估方法:根据选择的评估方法,对模型生成结果和预期结果进行比较,并根据算法给出相应的得分。 图2 创建提示词评估任务
盘古科学计算大模型能力与规格 盘古科学计算大模型面向气象、医药、水务、机械、航天航空等领域,融合了AI数据建模和AI方程求解方法。该模型从海量数据中提取数理规律,利用神经网络编码微分方程,通过AI模型更快速、更精准地解决科学计算问题。 ModelArts Studio大模型开发平
可以在提示词中提供示例,让模型先学习后回答,在使用这种方法时需要约束新样例不能照抄前面给的参考样例,新样例必须多样化、不能重复等,否则可能会直接嫁接前文样例的内容,也可以约束只是让它学习参考样例的xxx生成思路、xxx风格、xxx生成方法等。 零样本 对于无样本的任务,可以采用让模型分步思考的方法来分解复杂推理或数
可能原因:可能存在调用文本翻译API的Token错误或失效问题,具体原因可在界面右上角单击“调试”,在“调用详情 > 调用链”中查看插件输出的错误信息。 解决方法:若为Token错误问题,可参考创建多语言文本翻译插件,重新获取Token并进行试运行。 父主题: 低代码构建多语言文本翻译工作流
如何评估微调后的盘古大模型是否正常 评估模型效果的方法有很多,通常可以从以下几个方面来评估模型训练效果: Loss曲线:通过Loss曲线的变化趋势来评估训练效果,确认训练过程是否出现了过拟合或欠拟合等异常情况。 模型评估:使用平台的“模型评估”功能,“模型评估”将对您之前上传的测
盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS数据保护技术说明:https://support.huaweicloud.com/productdesc-obs/obs_03_0375.html 父主题: 安全
type String 存储类型。 data Array of ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 参数类型 描述 bucket String 输入数据的OBS桶名称。 path String 初始场数据的存放路径。
据分布。 训练过程中损失波动较大,甚至出现梯度爆炸。 模型在测试集上表现不佳,泛化能力差。 通过统计学方法如计算四分位距、Z-score、样本分布等排查异常值。 通过可视化方法,数据可视化或者使用箱线图进行异常值的排查。 结合数据自身特征,进行异常数据的筛选。 对于异常值,视情况
据分布。 训练过程中损失波动较大,甚至出现梯度爆炸。 模型在测试集上表现不佳,泛化能力差。 通过统计学方法如计算四分位距、Z-score、样本分布等排查异常值。 通过可视化方法,数据可视化或者使用箱线图进行异常值的排查。 结合数据自身特征,进行异常数据的筛选。 对于异常值,视情况
type String 存储类型。 data Array of ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 参数类型 描述 bucket String 输入数据的OBS桶名称。 path String 初始场数据的存放路径。
模型训练完成之后,优化提示词是一种可以继续优化模型效果的有效策略,一个好的提示词能极大地激发模型的潜能,使其在特定任务上表现出色。接下来,我们将深入探讨提示词优化的方法和技巧,帮助您更好地驾驭模型,实现高质量的任务完成。 优化提升词一般可以从以下几个方面开始: 选择合适的提示词模板 根据任务类型选择提示词
训练过程中损失波动较大,甚至出现梯度爆炸。 模型在测试集上表现不佳,泛化能力差。 优化调整策略如下: 通过统计学方法如计算四分位距、Z-score、样本分布等排查异常值。 通过可视化方法,数据可视化或者使用箱线图进行异常值的排查。 结合数据自身特征,进行异常数据的筛选。 对于异常值,视情况
如何利用提示词提高大模型在难度较高推理任务中的准确率 可以通过思维链的方式提高大模型在复杂推理任务中的准确率。 思维链是一种通过分步骤推理来提升大模型在复杂任务中表现的方法。通过引导模型思考问题的过程,可以使其在推理任务中得到更高的准确性,尤其是在涉及多步推理和复杂逻辑关系的任务中。 具体做法如下: 提供相关
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID,获取方法请参见获取模型部署ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述