检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据工程常见报错与解决方案 数据工程常见报错及解决方案请详见表1。 表1 数据工程常见报错与解决方案 功能模块 常见报错 解决方案 数据获取 File format mismatch, require [{0}]. 请检查创建数据集时使用的数据，与平台要求的文件内容格式是否一致。
NLP大模型训练常见报错与解决方案 NLP大模型训练常见报错及解决方案请详见表1。 表1 NLP大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时，数据集列表为空 创建训练任务时，数据集选择框中显示为空，无可用的训练数据集。 数据集未发布。 请提
科学计算大模型训练常见报错与解决方案 科学计算大模型训练常见报错及解决方案请详见表1。 表1 科学计算大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时，数据集列表为空 创建训练任务时，数据集选择框中显示为空，无可用的训练数据集。 数据集未发布。
使用数据工程准备与处理数据集 数据工程介绍 数据工程使用流程 数据集格式要求 导入数据至盘古平台 加工数据集 标注数据集 评估数据集 发布数据集 数据工程常见报错与解决方案
审计 云审计服务（Cloud Trace Service，CTS）是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后，CTS可记录用户使用盘古的管理事件和数据事件用于审计。
优化其性能。 根据每个客户的实际对话知识，如帮助文档、案例库和FAQ库等，可以使用“先搜后推”的解决方案。客户的文档库可以实时更新，大模型的应答可以无缝实时更新。（搜索+大模型解决方案） 父主题： 大模型概念类问题
致性，帮助用户节省标注成本和时间，尤其是在大规模数据集的处理过程中。 总的来说，数据标注是数据工程中不可或缺的一环，通过高效、准确的标注过程，ModelArts Studio大模型开发平台为用户提供了灵活、定制化的解决方案，确保数据质量，助力后续模型训练和优化，推动AI技术的成功应用。
创建科学计算大模型训练任务 查看科学计算大模型训练状态与指标 发布训练后的科学计算大模型 管理科学计算大模型训练任务 科学计算大模型训练常见报错与解决方案 父主题： 开发盘古科学计算大模型
适配性。只有通过系统化地准备和处理数据，才能提取出有价值的信息，从而更好地支持模型训练。因此，数据的采集、清洗、标注、评估、发布等环节，成为数据开发中不可或缺的重要步骤。 在ModelArts Studio开发平台中，数据工程功能提供了完整的解决方案，用于高效构建和管理数据集，其
创建NLP大模型训练任务 查看NLP大模型训练状态与指标 发布训练后的NLP大模型 管理NLP大模型训练任务 NLP大模型训练常见报错与解决方案 父主题： 开发盘古NLP大模型
可以通过训练日志定位训练失败的原因。典型训练报错和解决方案请参见NLP大模型训练常见报错与解决方案。 训练日志可以按照不同的节点（训练阶段）进行筛选查看。分布式训练时，任务被分配到多个工作节点上进行并行处理，每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的
可以通过训练日志定位训练失败的原因。典型训练报错和解决方案请参见科学计算大模型训练常见报错与解决方案。 训练日志可以按照不同的节点（训练阶段）进行筛选查看。分布式训练时，任务被分配到多个工作节点上进行并行处理，每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同
盘古推理SDK简介 使用推理SDK 常见问题 了解更多常见问题、案例和解决方案 热门案例 如何对盘古大模型的安全性展开评估和防护？ 训练智能客服系统大模型需考虑哪些方面？ 如何调整训练参数，使盘古大模型效果最优？ 如何判断盘古大模型训练状态是否正常？ 为什么微调后的盘古大模型总是重复相同的回答？
如何调用REST API 构造请求 认证鉴权 返回结果
期的大模型工具链。 ModelArts Studio大模型开发平台为开发者提供了一种简单、高效的开发和部署大模型的方式。平台提供了包括数据处理、模型训练、模型部署、Agent开发等功能，以帮助开发者充分利用盘古大模型的功能。企业可以根据自己的需求选取合适的大模型相关服务和产品，方便地构建自己的模型和应用。
的xxx文档”。 例如，“结合金融领域相关知识，生成一份调研报告大纲，报告主题是区块链洞察”、“以上是某理财app用户反馈的问题，请提供解决方案。” 人设： 增加人设可以让生成的内容更符合该领域需求。 例如，“假设你是一位银行面试官，请生成10个银行面试问题。”、“假如你是一个高
该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力，对原始数据进行优化，确保其质量和一致性。同时，数据工程工具链还提供强大的数据存储和管理能力，为大模型训练提供高质量的数据支撑。 支持区域： 西南-贵阳一 使用数据工程准备与处理数据集 检测数据集质量
部署推理服务后，可以采用人工评测的方案来评估模型效果。若评测过程中出现如下问题，可以参考解决方案进行优化： 问题一：模型答案没有按照Prompt要求回答。例如，要求文案在300字以内，但是模型回答字数仍然超出300字。 解决方案：在数据质量要求中提到要求训练数据的输出（target字段）需要符合业
保证微调数据的正确性，多样性，复杂性。 保证微调数据能覆盖对应任务所涉及的所有场景。 微调数据清洗： 以下是该场景中实际使用的数据清洗策略，供您参考： 原始文本处理。基于爬虫、数据处理平台批量处理收集到的原始数据，需要将文件统一转换成纯文本的txt文件，对错误格式数据进行删除。 构建微调数据。生成垂域微调（问答对）数
标注数据集 数据集标注场景介绍 标注文本类数据集 标注视频类数据集 标注图片类数据集 父主题： 使用数据工程准备与处理数据集
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
