检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
应用百宝箱 数据工程工具链 数据是大模型训练的基础，为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分，具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据流通和管理等功能。 该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的
使用规则构建的优点是快速且成本低，缺点是数据多样性较低。 基于大模型的数据泛化：您可以通过调用大模型（比如盘古提供的任意一个规格的基础功能模型）来获取有监督场景。一个比较常见的方法是，将无监督的文本按照章节、段落、字符数进行切片，让模型基于这个片段生成问答对，再将段落、问题和答案三者组装
数据增强的典型方法如下： 多样化数据来源 ：通过从多种来源获取数据，增加数据的多样性。这包括不同话题、不同提问风格、涉及多语言的时候还可以采用不同语言的训练数据，以提高模型的泛化能力。 例如：需要微调医疗问答场景，可以获取多种医疗问答数据，比如中文医药方面的问答数据集（cMedQ
科技行业公司的平均利润和市值是多少？ 识别原始问题中的槽位： 科技行业公司的[metric]利润和市值是多少？ 采用简单的逻辑规则进行替换，获取更多数据。此处将[metric]替换为“最大”、“最小”、“中位”、“总”等，示例如下： 科技行业公司的最大利润和市值是多少？ 科技行业公司的最小利润和市值是多少？
如果状态为“订阅失败”，表示该资产未成功从AI Gallery订阅，可单击“重新订阅”重新从AI Gallery订阅数据资产。 订阅成功后的数据资产，将在“数据工程 > 数据获取 > 原始数据集”中显示，可执行后续的数据加工及发布操作。 管理数据资产 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
在节点的“配置信息”输入请求参数的值以及Token值，单击“开始运行”。 其中，X-Auth-Token为文本翻译插件的鉴权参数，Token值由创建多语言文本翻译插件获取。 图16 单节点调试-2 单节点调试成功后，将在该节点显示“运行成功”字样及其运行时间。 图17 单节点调试成功示例 步骤3：试运行多语言文本翻译工作流
管理盘古模型资产 模型资产介绍 用户在平台中可试用、已订购或训练后发布的模型，将被视为模型资产并存储在空间资产内，方便统一管理与操作。用户可以查看模型的所有历史版本及操作记录，从而追踪模型的演变过程。同时，平台支持一系列便捷操作，包括模型训练、压缩和部署，帮助用户简化模型开发及应
在“提示词”模块，需要在输入框中填写Prompt提示词。 可依据模板填写Prompt，单击“”，输入框中将自动填入角色指令模板。单击“”，可使用获取提示词模板中的提示词模板。 图1 提示词 提示词填写完成后可通过大模型进行优化，单击“”，可在 “Prompt优化”窗口中复制优化后的提示词，单击“确定”。
学习率衰减比率（learning_rate_decay_ratio） 0.067 热身比例（warmup） 0.01 评估和优化模型 模型评估： 您可以从平台的训练日志中获取到每一步的Loss，并绘制成Loss曲线。本场景的一个Loss曲线示例如下： 图1 Loss曲线 通过观察，该Loss曲线随着迭代步数的增
专业大模型等服务，便捷地构建自己的模型和应用。 数据工程工具链：数据是大模型训练的核心基础。数据工程工具链作为平台的重要组成部分，具备数据获取、数据加工和数据发布等功能，确保数据的高质量与一致性。工具链能够高效收集并处理各种格式的数据，满足不同训练任务的需求，并提供强大的数据存储
意图识别节点配置说明 配置该节点来分析用户输入，识别其意图，以便后续处理。 提问器节点配置说明 配置一个提问器节点，用于向用户或系统提出问题，获取所需信息。 插件节点配置说明 将外部API等集成到工作流中，以扩展功能或调用外部接口。 判断节点配置说明 设置条件判断逻辑，根据不同情况分支到不同的流程路径。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
