检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据智算单元、数据通算单元按单元使用数量和时长后付费,时长精确到秒,数据托管单元按订购数量和时长预付费,提供1个月到1年供客户选择。 模型训练资源支持两种计费方式,包周期按订购数量和时长预付费,提供1个月到1年供客户选择;按需订购按单元使用数量和时长后付费,时长精确到秒。 模型推理资源按推理单元订购数量和时长预付费,提供1个月到1年供客户选择。
预测大模型训练流程与选择建议 预测大模型训练流程介绍 目前,预测大模型支持微调训练。 微调阶段:微调阶段通过在特定领域的数据集上进一步训练,使模型能够更有效地应对具体的任务需求。在微调过程中,通过设定训练指标来监控模型的表现,确保其达到预期的效果。完成微调后,将对用户模型进行评估
您输入的文本计算Token数量,您可以通过以下方式使用该功能: 在左侧导航栏选择“能力调测”,单击右下角“Token计算器”使用该功能。 使用API调用Token计算器,详见《API参考》“API > Token计算器”。 NLP大模型训练类型选择建议 平台针对NLP大模型提供了
其满足业务需求后,进行部署和调用,以便实际应用。 科学计算大模型选择建议 科学计算大模型支持训练的模型类型有:全球中期天气要素模型、降水模型、区域中期海洋智能预测模型。 全球中期天气要素预测模型、降水模型选择建议: 科学计算大模型的全球中期天气要素预测模型、降水模型,可以对未来一
CV大模型训练流程与选择建议 CV大模型训练流程介绍 目前,CV大模型支持微调训练。 微调阶段:微调阶段通过在特定领域的数据集上进一步训练,使模型能够更有效地应对具体的任务需求。在微调过程中,通过设定训练指标来监控模型的表现,确保其达到预期的效果。完成微调后,将对用户模型进行评估
平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量,提供费用预估,并优化数据预处理策略。 Token计算器 用户在部署服务的过程中,建议开启“安全护栏”功能,以保证内容的安全性。 父主题: 使用前必读
描述变量的含义或作用。 提示词评估数据集约束限制 上传文件限xlsx格式。 数据行数不小于10行,不大于50行。 数据不允许相同表头,表头数量小于20个。 数据单条文本长度不超过1000。 创建数据集时会对相关限制条件进行校验。 数据参考格式如下: 图1 数据参考格式 图2 数据示例
指定从推荐模型中选择的模型个数,以提高模型的多样性并提升最终性能。 推荐模型的数量范围为0到20,设置为0表示不使用推荐模型。 例如,基模型算法池中有5个LightGBM(LGB)模型,且推荐模型数量设置为5,这意味着系统将在基模型池中的5个LightGBM模型之外,推荐5个不同
原因导致的,建议您依次排查: 测试集质量:请检查测试集的目标任务和分布与实际场景是否一致,质量较差的测试集无法反映模型的真实结果。 数据质量:请检查训练数据的质量,若训练样本和目标任务不一致或者分布差异较大,则会加剧该现象。此外,若可预见实际场景会不断发生变化,建议您定期更新训练数据,对模型进行微调更新。
数据量足够,为什么盘古大模型微调效果仍然不好 这种情况可能是由于以下原因导致的,建议您排查: 数据质量:请检查训练数据的质量,若训练样本和目标任务不一致或者分布差异较大、样本中存在异常数据、样本的多样性较差,都将影响模型训练的效果,建议提升您的数据质量。 父主题: 大模型微调训练类问题
completion_tokens Number 表示模型生成的答案中包含的tokens的数量。 prompt_tokens Number 表示生成结果时使用的提示文本的tokens的数量。 total_tokens Number 对话过程中使用的tokens总数。 流式(stream参数为true)
当您将微调的模型部署以后,输入一个已经出现在训练样本中,或虽未出现但和训练样本差异很小的问题,回答完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导
当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成了复读机式的结果,即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的,建议您依次排查: 推理参数设置:请检查推理参数中的“话题重复度控制”或“温度”或“核采样”等参数的设置,适当增大其中一个参数的值,可以提升模型回答的多样性。
功能介绍 为了帮助用户更好地管理和优化Token消耗,平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量,提供费用预估,并优化数据预处理策略。 URI POST /v1/{project_id}/deployments/{deployment_id}/caltokens
≥ 1万条/每场景 4K版本:4096 32K版本:32768 评测NLP大模型所需数据量 要求所有文本大小最大不超过100MB,目录下文件数量最多不超过100个。数据条数范围为:3-1000条。 构建NLP大模型数据集流程 在ModelArts Studio大模型开发平台中,使用
练样本中的问题,模型生成的结果很好,一旦输入了一个从未出现过的数据(目标任务相同),回答却完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了过拟合。请检查训练参数中的
为什么微调后的盘古大模型的回答会异常中断 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成的结果不完整,出现了异常截断。这种情况可能是由于以下几个原因导致的,建议您依次排查: 推理参数设置:请检查推理参数中的“最大Token限制”参数的设置,适当增加该参数的值,可以增大模型回答生成的长度,避免生成异
“Prompt优化”窗口中单击“确定”。 步骤3:添加预置插件 应用支持添加插件技能,可添加“预置插件”和“个人插件”。添加插件可以为应用配备更多技能,建议插件数量不超过5个。 本节示例将指导您添加名为python_interpreter的“预置插件”。 添加插件的步骤如下: 在“技能 > 插件”模块,单击“添加”。
表1 NLP大模型能力调测参数说明 参数 说明 搜索增强 搜索增强通过结合大语言模型与传统搜索引擎技术,提升了搜索结果的相关性、准确性和智能化。 例如,当用户提出复杂查询时,传统搜索引擎可能仅返回一系列相关链接,而大模型则能够理解问题的上下文,结合多个搜索结果生成简洁的答案,或
当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的,建议您依次排查: 数据质量:请检查训练数据中是否存在包含异常字符的数据,可以通过规则进行清洗。 训练参数设置:若数据质量存在问题,且因训练参数