检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
度语义理解与生成能力的人工智能大语言模型。可进行对话互动、回答问题、协助创作。 盘古大模型在ModelArts Studio大模型开发平台部署后，可以通过API调用推理接口。 表1 API清单 API 功能 操作指导 NLP大模型-文本对话 基于对话问答功能，用户可以与模型进行自然而流畅的对话和交流。
结合数据自身特征，进行异常数据的筛选。 对于异常值，视情况进行删除、替换、保留等操作，兼顾模型的收敛与鲁棒性。 优化举例： 某数据集中，盐度（S）变量在下载过程中存在数据块缺失与数据块偏移的问题，如图1、图2，导致在训练过程中盐度损失异常，波动大且不收敛，如图3。在删除异常数据后
NLP大模型训练常见报错与解决方案 NLP大模型训练常见报错及解决方案请详见表1。 表1 NLP大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时，数据集列表为空。 创建训练任务时，数据集选择框中显示为空，无可用的训练数据集。 数据集未发布。 请提前创建与大模型对应的训练数据集，并完成数据集发布操作。
科学计算大模型训练常见报错与解决方案 科学计算大模型训练常见报错及解决方案请详见表1。 表1 科学计算大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时，数据集列表为空 创建训练任务时，数据集选择框中显示为空，无可用的训练数据集。 数据集未发布。 请提前创建与大模型
连续数据 ， 才能得到1条测试数据) 24h 7 7天每24h的数据（例：0点，次日0点…7天后0点） 图1 盐度数据偏移与缺失样例-1 图2 盐度数据偏移与缺失样例-2 图3 盐度（S）异常的训练损失 图4 删除异常值后的训练损失 父主题： 盘古科学计算大模型微调训练实践
模型生成句子与实际句子在单字层面的匹配度，数值越高，表明模型性能越好。 BLEU-2 模型生成句子与实际句子在词组层面的匹配度，数值越高，表明模型性能越好。 BLEU-4 模型生成结果和实际句子的加权平均精确率，数值越高，表明模型性能越好。 ROUGE-1 模型生成句子与实际句子在
12点…次日18点，次日24点）。 24h 7 7天每24h的数据（例：0点，次日0点…7天后0点）。 图1 盐度数据偏移与缺失样例-1 图2 盐度数据偏移与缺失样例-2 图3 盐度（S）异常的训练损失 图4 删除异常值后的训练损失 父主题： 盘古科学计算大模型调优实践
合成任务”，单击界面右上角“创建合成任务”。 在“创建合成任务”页面，选择需要合成的数据集，选择合成内容与合成轮数。 如果合成前的数据集与合成后的数据集结构相同，可选择开启“将源数据集整合至合成后数据”，在所有合成轮数运行完成后，将生成的数据与原始数据集合并，单击“下一步”。 进入“指令编排”页面，在左侧“添加指令”页面可选择预置指令或自定义指令。
模型开发-模型最小训练单元 不同模型的最小训练单元有所不同，具体信息请参见模型能力与规格。 模型开发-NLP大模型请求的最大Token数 不同系列的NLP大模型支持请求的最大Token数有所不同，具体信息请参见模型能力与规格。
以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施，包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题： 安全
应用中提供准确的预测结果。 应用与部署：当大模型训练完成并通过验证后，进入应用阶段。主要包括以下几个方面： 模型优化与部署：将训练好的大模型部署到生产环境中，可能通过云服务或本地服务器进行推理服务。此时要考虑到模型的响应时间和并发能力。 模型监控与迭代：部署后的模型需要持续监控其
上传本地文件。 知识库命中测试 平台支持对创建的知识库进行命中测试，以评估知识库的效果和准确性。 命中测试通过将用户的查询与知识库中的内容进行匹配，最终输出与查询相关的信息，并根据匹配的程度进行排序。 知识库命中测试步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
数据质量：请检查训练数据的质量，若训练样本出现了大量重复数据，或者数据多样性很差，则会加剧该现象。 为什么微调后的模型，输入与训练样本相似的问题，回答与训练样本完全不同？ 当您将微调的模型部署以后，输入一个已经出现在训练样本中，或虽未出现但和训练样本差异很小的问题，回答完全错误
s、csv格式。 无论是文本文档、演示文稿，还是电子表格文件，用户都可以轻松地将数据导入知识库，无需额外的转换或格式处理。 父主题： 创建与管理知识库
）操作列的“发布到Gallery”，对数据资产进行发布。 在“发布到AI Gallery”页面填写AI Gallery资产名称与描述，选择可订阅区域约束与可看范围，单击“确定”，发布数据资产至AI Gallery。 数据资产列表页将显示发布数据资产的状态： 如果状态为“发布中”，表示该资产正在同步至AI
使用数据工程构建数据集 数据工程介绍 数据工程使用流程 数据集格式要求 导入数据至盘古平台 加工数据集 发布数据集 数据工程常见报错与解决方案
的精细化管理与有序调配，帮助用户高效地规划和分配任务，使团队协作更加高效。 此外，平台配备了完善的角色权限体系，覆盖超级管理员、管理员、模型开发工程师等多种角色。通过灵活的权限设置，每位用户能够在其对应的权限范围内安全高效地操作平台功能，从而最大程度保障数据的安全性与工作效率。 父主题：
当前，大模型对于私域数据的利用仍然面临一些挑战。私域数据是由特定企业或个人所拥有的数据，通常包含了领域特定的知识。将大模型与私域知识进行结合，将发挥巨大价值。私域知识从数据形态上又可以分为非结构化与结构化数据。对于非结构化数据，如文档，可以利用大模型+外挂检索库（如Elastic Search）的方
大小、配比比例等。同时，平台支持数据集的删除等管理操作，使用户能够统一管理数据集资源，以便在模型训练和分析时灵活调用，确保数据资产的规范性与安全性。 模型资产：平台提供的模型资产涵盖了预置或训练后发布的模型，所有这些模型将存放于空间资产中进行统一管理。用户可查看预置模型的历史版本
按数据集：可以设置不同数据集的配比数量，单击“确定”。 按标签：该场景适用于通过数据打标类加工算子进行加工的文本类数据集，具体标签名称与标签值可在完成加工文本类数据集操作后，进入数据集详情页面获取。 填写示例如图1所示。 图1 “按标签”配比方式填写示例 页面将返回至“配比任
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
