检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts Studio开发平台提供了全面的数据工程功能。该模块涵盖数据获取、加工、标注、评估和发布等关键环节，帮助用户高效构建高质量的训练数据集，推动AI应用的成功落地。具体功能如下： 数据获取：用户可以轻松将多种类型的数据导入ModelArts Studio大模型开发平
管理工作流 Agent开发平台支持对工作流执行复制、获取工作流ID、删除、导入、导出操作。 获取工作流ID、删除工作流 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“Agent开发”，跳转至Agent开发平台。 进入“工作台
批量评估提示词效果前，需要先上传提示词变量数据文件用于创建对应的评估数据集。 提示词变量是一种可以在文本生成中动态替换的占位符，用于根据不同的场景或用户输入生成不同的内容。其中，变量名称可以是任意的文字，用于描述变量的含义或作用。 提示词评估数据集约束限制 上传文件限xlsx格式。 数据行数不小于10行，不大于50行。
工作流”页面，单击所需工作流的“ > 调用路径”。 图1 获取工作流调用路径-1 在“调用路径”页面，单击“复制路径”即可获取调用路径。 其中，conversation_id参数为会话ID，唯一标识每个会话的标识符，可将会话ID设置为任意值，使用标准UUID格式。 图2 获取工作流调用路径-2 使用Postman调用API
PASCAL VOC 由图片文件和对应的标注文件构成，标注文件需要满足PASCAL VOC文件格式。要求用户将标注对象和标注文件存储在同一目录，并且相互对应，如标注对象文件名为“IMG_2.jpg”，那么标注文件的文件名应为“IMG_2.xml” 图片支持jpg、jpeg、png、
URI 获取URI方式请参见请求URI。 请求参数 使用Token认证方式的请求Header参数见表1。 表1 请求Header参数（Token认证） 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取Tok
插件请求超时，检查插件服务。 105013 插件返回结果过大。 当前支持10M大小的返回，超过此大小会报错。 105014 插件request proxy error。 请检查插件服务是否有问题导致无法连接。 认证鉴权 110000 认证失败。 查看认证配置。 110001 用户信息获取失败。 查看用户信息是否正确配置。
”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”，单击模型名称进入任务详情页。 单击进入“训练结果”页签，单击“发布”。 图1 训练结果页面 填写资产名称、描述，选择对应的可见性，单击“确定”发布模型。 发布后的模型会作为模型资产同步显示在“空间资产 > 模型”列表中。
大模型数据集流程见表2。 表2 盘古预测大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 发布预测类数据集 流通预测类数据集 数据流通是将单个数据集发布
给定一个提示和一些参数，模型会根据这些信息生成一个或多个预测的补全，还可以返回每个位置上不同词语的概率。它可以用来做文本生成、自动写作、代码补全等任务。 开发环境要求 华为云盘古大模型推理SDK要求： Java SDK适用于JDK 1.8及其以上版本。 Python SDK适用于Python3及以上版本。 Go
数据工程操作流程见图1、表1。 图1 数据集构建流程图 表1 数据集构建流程表 流程 子流程 说明 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 加工数据集 清洗数据集 通过专用的清洗算子对数据进行预处理，确保数据符合模型训练的
为什么微调后的盘古大模型的回答中会出现乱码 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据质量：请检查训练数据中是否存在包含异常字符的数据，可以通过规则进行清洗。
为什么微调后的盘古大模型的回答会异常中断 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果不完整，出现了异常截断。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“最大Token限制”参数的设置，适当增加该参数的值，可
"⑩|⑽|㊉|⒑|⓾|➓|❿|➉"} 自定义正则替换 数据条目不变下，使用自定义正则表达式替换文本内容。 示例如下： 去除“参考文献”以及之后的内容：\n参考文献[\s\S]* 针对pdf的内容，去除“0 引言”之前的内容，引言之前的内容与知识无关：[\s\S]{0，10000}0
为什么微调后的盘古大模型总是重复相同的回答 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成了复读机式的结果，即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“话题重复度控制”或“温度”或
添加CoT思维链提示 对于复杂推理问题（如数学问题或逻辑推理），通过给大模型示例或鼓励大模型解释推理过程，可以引导大模型生成准确率更高的结果。 单样本/多样本 可以在提示词中提供示例，让模型先学习后回答，在使用这种方法时需要约束新样例不能照抄前面给的参考样例，新样例必须多样化、不
为什么微调后的盘古大模型只能回答训练样本中的问题 当您将微调的模型部署以后，输入一个已经出现在训练样本中的问题，模型生成的结果很好，一旦输入了一个从未出现过的数据（目标任务相同），回答却完全错误。这种情况可能是由于以下几个原因导致的，建议您依次排查： 训练参数设置：您可以通过绘制
科技行业公司的平均利润和市值是多少？ 识别原始问题中的槽位： 科技行业公司的[metric]利润和市值是多少？ 采用简单的逻辑规则进行替换，获取更多数据。此处将[metric]替换为“最大”、“最小”、“中位”、“总”等，示例如下： 科技行业公司的最大利润和市值是多少？ 科技行业公司的最小利润和市值是多少？
件不超过10M。 单击“点此上传”上传本地文件至知识库。支持单次上传文件个数不超过300个。 上传完成后，单击“确定”，完成知识库的创建。 知识库创建完成后，如果想在当前知识库中继续上传文件，可单击该知识库进入详情页面，再单击右上角“继续上传”，上传本地文件。 知识库命中测试 平
Loss曲线：通过Loss曲线的变化趋势来评估训练效果，确认训练过程是否出现了过拟合或欠拟合等异常情况。 模型评估：使用平台的“模型评估”功能，“模型评估”将对您之前上传的测试集进行评估。通过查看测试集样本的PPL、BLEU和ROUGE等指标，进行横向（相同训练数据+不同规格的通用模型）或纵向（不同训练数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
