检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备盘古大模型训练数据集 训练数据集创建流程 模型训练所需数据量与数据格式要求 创建一个新的数据集 检测数据集质量 清洗数据集（可选） 发布数据集 创建一个训练数据集
与其他云服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务（Object Storage Service，简称OBS）存储数据和模型，实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署，帮助用户快速创建和部署模型。
指标。支持的模型指标请参见下表。 表1 规则打分指标 指标名称 说明 BLEU-1 模型生成句子与实际句子在单字层面的匹配度，数值越高，表明模型性能越好。 BLEU-2 模型生成句子与实际句子在中词组层面的匹配度，数值越高，表明模型性能越好。 BLEU-4 模型生成结果和实际句子
当前，大模型对于私域数据的利用仍然面临一些挑战。私域数据是由特定企业或个人所拥有的数据，通常包含了领域特定的知识。将大模型与私域知识进行结合，将发挥巨大价值。私域知识从数据形态上又可以分为非结构化与结构化数据。对于非结构化数据，如文档，可以利用大模型+外挂检索库（如Elastic Search）的方
或指模型没有很好地捕捉到数据特征，不能够很好地拟合数据。 损失函数 损失函数（Loss Function）是用来度量模型的预测值f(x)与真实值Y的差异程度的运算函数。它是一个非负实值函数，通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。 推理相关概念 表2
常见训练报错与解决方案 read example failed报错 报错原因：模型训练过程中，训练日志出现“read example failed”报错，表示当前数据集格式不满足训练要求。 解决方案：请参考数据格式要求校验数据集格式。 图1 read example failed报错
cache.update("缓存是否存在？", LLMResp(answer="存在。")) # 校验，一致 # 用于检查缓存中的数据是否与查询的数据是否一致，如果一致，就返回缓存中的结果对象 # 例如，查询“缓存是否存在？”这个问题和“test-semantic-cache-v
在“数据工程 > 数据管理”中创建“评测”类型的数据集作为评估数据集，数据集创建完成后需要执行发布操作。 数据量建议3-1000条。当前数据集数据保存与上传的文件类型有以下两种，大小均不可超过1024MB。 文件类型为JSONL：每一行表示一段文本，形式为{"context":"context内容"
为什么微调后的模型，回答会异常中断 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果不完整，出现了异常截断。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“最大Token限制”参数的设置，适当增加该参数的值，可以增大
update("缓存是否存在？",LLMResp.builder().answer("存在。").build()); //校验，一致 //用于检查缓存中的数据是否与查询的数据是否一致，如果一致，就返回缓存中的结果对象 //例如，查询“缓存是否存在？”这个问题和“test-semantic-cache-v
因此，根据地理区域的不同将全国划分成不同的支持区域。 盘古大模型当前仅支持西南-贵阳一区域。 图1 盘古大模型服务区域 父主题： 模型能力与规格
安全 责任共担 身份认证与访问控制 数据保护技术 审计 监控安全风险
盘古大模型正式公测上线 盘古大模型是集数据管理、模型训练和模型部署于一体的一站式大模型开发与应用平台。平台支持大模型的定制开发，提供全生命周期工具链，帮助开发者高效构建与部署模型，企业可灵活选择适合的服务与产品，轻松实现模型与应用的开发。 公测 产品介绍 2 盘古大模型「应用百宝箱」上线 应用百宝
创建数据集时，可以指定数据文件或者数据文件所在的文件夹。 评测数据集 创建数据集时，可以指定数据文件或者数据文件所在的文件夹。 基本信息 填写数据集名称与描述，选择行业、语言和数据标签。 图9 填写基本信息 参数填选完成后，单击“立即创建”。 创建好的数据集将显示在数据集列表中。 父主题： 准备盘古大模型训练数据集
在左侧导航栏中选择“模型开发 > 模型训练”，单击界面右上角“创建训练任务”。 图1 模型训练列表 在训练配置中，选择模型类型、训练类型、训练方式、训练模型与训练参数。 其中，训练配置选择LLM（大语言模型），训练类型选择有监督训练，根据所选模型配置训练参数。 表1 有监督微调参数说明 参数名称 说明
取得较好的效果，但对于规则越复杂的任务，越需要应用这些技巧来输出一个逻辑自洽、清晰明了的指令。 提示词是什么 提示词也称为Prompt，是与大模型进行交互的输入，可以是一个问题、一段文字描述或者任何形式的文本输入。 提示词要素 指令：要求模型执行的具体任务或回答的问题。如：“写一
评估完成后，进入“评估报告”页面，可以查看每条数据的评估结果。 在评估结果中，“预期结果”即为变量值（问题）所预设的期望回答，“生成结果”即模型回复的结果。通过比较“预期结果”与“生成结果”的差异可以判断提示词效果。 图3 查看评估报告 父主题： 批量评估提示词效果
\"relation_operator\":\"名称与内容的逻辑关系\"}],\"having_filters\":[{\"value\":[\"值内容\"],\"caption\":\"度量名称\",\"relation_operator\":\"名称与内容的逻辑关系\"}]},\"orde
盘古大模型具备强大的学习能力，能够通过少量行业数据快速适应特定业务场景的需求。模型在微调后能够迅速掌握并理解特定行业的专业知识和术语，从而深刻把握行业特性。这种快速学习与适应能力，为各行业企业和机构带来了极大的便利。它们可以根据具体需求，利用盘古大模型构建或优化业务流程，提高工作效率，降低运营成本，并为客户提供更精准、个性化的服务。
进行推理，如：搜索RAG方案等，具有32K上下文能力。 基于盘古大模型打造的专业大模型包括BI专业大模型与单场景大模型，支持模型推理，但不支持模型训练。 父主题： 模型能力与规格
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
