检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的进行，Loss值不断减小，直到收敛到一个较小的值。 验证损失值 模型在验证集上的损失值。值越小，意味着模型对验证集数据的泛化能力越好。 获取训练日志 单击训练任务名称，可以在“日志”页面查看训练过程中产生的日志。 对于训练异常或失败的任务可以通过训练日志定位训练失败的原因。典型
角单击“调试”，在“调用详情 > 调用链”中查看插件输出的错误信息。 解决方法：若为Token错误问题，可参考创建多语言文本翻译插件，重新获取Token并进行试运行。 父主题： 低代码构建多语言文本翻译工作流
创建导入任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”，单击空间名称进入操作空间。 在左侧导航栏中选择“数据工程 > 数据获取 > 导入任务”，单击界面右上角“创建导入任务”。 在“创建导入任务”页面，选择“数据集类型”、“文件格式”和“导入来源”。 单击“”，在
关性，而负值则表示反向相关。 RQE 衡量预测值与真实值之间差距的指标。它是所有单个观测的相对误差的平方和。该值越小，代表模型性能越好。 获取训练日志 单击训练任务名称，可以在“日志”页面查看训练过程中产生的日志。对于训练异常或失败的任务也可以通过训练日志定位训练失败的原因。典型
按标签：该场景适用于通过数据打标类加工算子进行加工的文本类数据集，具体标签名称与标签值可在完成加工文本类数据集操作后，进入数据集详情页面获取。 填写示例如图1所示。 图1 “按标签”配比方式填写示例 页面将返回至“配比任务”页面，配比任务运行成功后，状态将显示为“运行成功”。
构建微调训练任务数据集 获取源数据 科学计算大模型微调训练所需的数据为气象再分析数据。 气象再分析数据集是利用现代数值天气预报模型和数据同化系统，对过去的观测数据进行重新处理后得到的。这些数据集可以是全球范围的，也可以是特定区域的。再分析数据集的目的是通过整合历史观测数据和现代计
proxy error。 请检查插件服务是否有问题导致无法连接。 认证鉴权 110000 认证失败。 查看认证配置。 110001 用户信息获取失败。 查看用户信息是否正确配置。 工作流 112501 工作流认证失败。 查看认证配置。 112502 缺少必要参数。 从打印日志可以看出当前缺失何种参数。
和应用。 数据工程工具链 数据是大模型训练的基础，为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分，具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据发布和管理等功能。 该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的
应用百宝箱 数据工程工具链 数据是大模型训练的基础，为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分，具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据流通和管理等功能。 该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的
数据工程常见报错与解决方案 数据工程常见报错及解决方案请详见表1。 表1 数据工程常见报错与解决方案 功能模块 常见报错 解决方案 数据获取 File format mismatch, require [{0}]. 请检查创建数据集时使用的数据，与平台要求的文件内容格式是否一致。
数据增强的典型方法如下： 多样化数据来源 ：通过从多种来源获取数据，增加数据的多样性。这包括不同话题、不同提问风格、涉及多语言的时候还可以采用不同语言的训练数据，以提高模型的泛化能力。 例如：需要微调医疗问答场景，可以获取多种医疗问答数据，比如中文医药方面的问答数据集（cMedQ
使用规则构建的优点是快速且成本低，缺点是数据多样性较低。 基于大模型的数据泛化：您可以通过调用大模型（比如盘古提供的任意一个规格的基础功能模型）来获取有监督场景。一个比较常见的方法是，将无监督的文本按照章节、段落、字符数进行切片，让模型基于这个片段生成问答对，再将段落、问题和答案三者组装
科技行业公司的平均利润和市值是多少？ 识别原始问题中的槽位： 科技行业公司的[metric]利润和市值是多少？ 采用简单的逻辑规则进行替换，获取更多数据。此处将[metric]替换为“最大”、“最小”、“中位”、“总”等，示例如下： 科技行业公司的最大利润和市值是多少？ 科技行业公司的最小利润和市值是多少？
人工评估标准”模块 评估作业员 拥有权限如下： “数据工程 > 数据管理 > 数据评估 > 人工评估”模块 数据导入员 拥有权限如下： “数据工程 > 数据获取 > 导入任务”模块 “数据工程 > 数据管理 > 数据集”模块 数据加工员 拥有权限如下： “数据工程 > 数据加工 > 加工任务”模块
如果状态为“订阅失败”，表示该资产未成功从AI Gallery订阅，可单击“重新订阅”重新从AI Gallery订阅数据资产。 订阅成功后的数据资产，将在“数据工程 > 数据获取 > 原始数据集”中显示，可执行后续的数据加工及发布操作。 管理数据资产 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
的准确性。大规模预训练模型则是指模型参数达到千亿、万亿级别的预训练模型。此类大模型因具备更强的泛化能力，能够沉淀行业经验，并更高效、准确地获取信息。 大模型的计量单位token指的是什么 令牌（Token）是指模型处理和生成文本的基本单位。token可以是词或者字符的片段。模型的
在节点的“配置信息”输入请求参数的值以及Token值，单击“开始运行”。 其中，X-Auth-Token为文本翻译插件的鉴权参数，Token值由创建多语言文本翻译插件获取。 图16 单节点调试-2 单节点调试成功后，将在该节点显示“运行成功”字样及其运行时间。 图17 单节点调试成功示例 步骤3：试运行多语言文本翻译工作流
在线问答公开数据、政务百科等。 来源二：特定的私域数据，针对于具体场景和项目需求，收集相关的文本数据。比如通过与当地政府的政数局进行合作，获取政府部门提供的内部脱敏数据等。相关的数据格式包括但不限于：在线网页、离线word文档、离线txt文件、离线excel表格、离线PDF文件、
在“提示词”模块，需要在输入框中填写Prompt提示词。 可依据模板填写Prompt，单击“”，输入框中将自动填入角色指令模板。单击“”，可使用获取提示词模板中的提示词模板。 图1 提示词 提示词填写完成后可通过大模型进行优化，单击“”，可在 “Prompt优化”窗口中复制优化后的提示词，单击“确定”。
学习率衰减比率（learning_rate_decay_ratio） 0.067 热身比例（warmup） 0.01 评估和优化模型 模型评估： 您可以从平台的训练日志中获取到每一步的Loss，并绘制成Loss曲线。本场景的一个Loss曲线示例如下： 图1 Loss曲线 通过观察，该Loss曲线随着迭代步数的增
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
