检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
微调数据清洗： 以下是该场景中实际使用的数据清洗策略，供您参考： 原始文本处理。基于爬虫、数据处理平台批量处理收集到的原始数据，需要将文件统一转换成纯文本的txt文件，对错误格式数据进行删除。 构建微调数据。生成垂域微调（问答对）数据，将问答对数据分为：单轮问答数据、多轮问答
训练目的 训练数据 模型效果 应用场景举例 预训练 关注通用性：预训练旨在让模型学习广泛的通用知识，建立词汇、句法和语义的基础理解。通过大规模的通用数据训练，模型可以掌握丰富的语言模式，如语言结构、词义关系和常见的句型。 使用大规模通用数据：通常使用海量的无监督数据（如文本语料库
训练智能客服系统大模型需考虑哪些方面 根据智能客服场景，建议从以下方面考虑： 根据企业实际服务的场景和积累的数据量，评估是否需要构建行业模型，如电商、金融等。 根据每个客户的金牌客服话术，可以对对话模型进行有监督微调，进一步优化其性能。 根据每个客户的实际对话知识，如帮助文档、案
它从未标记的数据中提取监督信号，属于无监督学习的一个子集。该方法通过创建“预设任务”让模型从数据中学习，从而生成有用的表示，可用于后续任务。它无需额外的人工标签数据，因为监督信号直接从数据本身派生。 有监督学习 有监督学习是机器学习任务的一种。它从有标记的训练数据中推导出预测函
查看NLP大模型训练状态与指标 模型启动训练后，可以在模型训练列表中查看训练任务的状态，单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。 查看模型训练状态 在模型训练列表中查看训练任务的状态，各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 已发布
具备。 评估作业员 拥有数据工程数据评估-评估作业模块的所有权限，其余角色不具备。 数据导入员 拥有数据工程数据获取-数据导入模块的所有权限，其余角色不具备。 数据加工员 拥有数据工程数据加工模块的所有权限，其余角色不具备。 数据发布员 拥有数据工程数据发布模块的所有权限，其余角色不具备。
查看科学计算大模型训练状态与指标 查看模型训练状态 模型启动训练后，可以在模型训练列表中查看训练任务的状态，单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。 表1 训练状态说明 训练状态 训练状态含义 已发布 模型已经训练完成并进行发布，用户可以使用模型进行部署、推理操作。
批量评估提示词效果 创建提示词评估数据集 创建提示词评估任务 查看提示词评估结果 父主题： 开发盘古大模型提示词工程
加，最后单击“确定”。若想创建插件可单击右上角“创建插件”，创建插件的步骤请参见创建插件。 图2 添加插件 添加插件后，可在“高级配置”中查看当前已添加的插件。 创建插件 创建插件的步骤如下： 登录ModelArts Studio大模型开发平台，进入所需空间。 在左侧导航栏中选择
海洋模型 创建推理作业 查询推理作业详情 父主题： 科学计算大模型
气象/降水模型 创建推理作业 查询推理作业详情 父主题： 科学计算大模型
的效率。 每个数据并行下的批处理大小 设置在并行训练中，每个微批次包含的数据批量大小，适当的数据批量大小能够确保训练各个阶段都能充分利用计算资源，提升并行效率。 数据配置 训练数据 选择训练模型所需的数据集。要求数据集经过发布操作，发布数据集操作方法请参见发布数据集。 资源配置 计费模式
选择基模型/基础功能模型 盘古-NLP-N2-基础功能模型 准备训练数据 本场景不涉及自监督训练，无需准备自监督数据。 微调数据来源： 来源一：真实业务场景数据。 来源二：基于大模型的数据泛化。基于目标场任务的分析，通过人工标注部分数据样例，然后利用大模型（如盘古提供的任意规格的基础功能模型
异常的Loss曲线：平缓且保持高位 Loss曲线异常抖动：Loss曲线异常抖动的原因可能是由于训练数据质量差，比如数据存在噪声或者分布不均衡，导致训练过程不稳定。你可以尝试提升数据质量的方式来解决。 图5 异常的Loss曲线：异常抖动 父主题： 大模型微调训练类问题
预付费，按照订单的购买周期结算 3个月、1年 数据服务 数据智算服务 按需计费 智算单元 后付费，根据服务实际消耗量计费 按实际任务时长，时长精确到秒。 数据通算服务 按需计费 通算单元 后付费，根据服务实际消耗量计费 按实际任务时长，时长精确到秒。 数据托管服务 包周期计费 托管单元 预付费，按照订单的购买周期结算
开发盘古NLP大模型 使用数据工程构建NLP大模型数据集 训练NLP大模型 压缩NLP大模型 部署NLP大模型 调用NLP大模型
开发盘古科学计算大模型 使用数据工程构建科学计算大模型数据集 训练科学计算大模型 部署科学计算大模型 调用科学计算大模型
ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 是否必选 参数类型 描述 bucket 是 String 输入数据的OBS桶名称。 path 是 String 初始场数据的存放路径。 表5 TaskOutputDto 参数
模型规格：不同规格的模型支持的长度不同，若目标任务本身需要生成的长度已经超过模型上限，建议您替换可支持更长长度的模型。 数据质量：请检查训练数据中是否存在包含异常截断的数据，可以通过规则进行清洗。 父主题： 大模型微调训练类问题
”。在候选列表中，勾选需要进行横向比对的提示词，并单击“创建评估”。 图1 创建评估 选择评估使用的变量数据集和评估方法。 评估用例集：根据选择的数据集，将待评估的提示词和数据集中的变量自动组装成完整的提示词，输入模型生成结果。 评估方法：根据选择的评估方法，对模型生成结果和预期
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
