检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
一个与目标任务同属的问题，回答的结果却不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 测试集质量：请检查测试集的目标任务和分布与实际场景是否一致，质量较差的测试集无法反映模型的真实结果。 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大，
图1 json解析报错 服务端返回的数据格式不符合json格式，导致sdk侧解析json数据报错。 服务端返回的json数据不符合json反序列化的规则，和sdk定义的数据结构不一致，导致反序列化失败。 sdk json数据解析问题。 建议排查服务端返回的数据是否和服务SDK设计的结构、字段一致。
的平均成本和一定的稳定性。 对于短期、突发或不可预测的业务需求，按需计费模式则更为合适，因为它提供了更高的灵活性和避免长期预付费可能带来的压力。 父主题： 计费FAQ
训练效果，确认训练过程是否出现了过拟合或欠拟合等异常情况。 模型评估：使用平台的“模型评估”功能，“模型评估”将对您之前上传的测试集进行评估。通过查看测试集样本的PPL、BLEU和ROUGE等指标，进行横向（相同训练数据+不同规格的通用模型）或纵向（不同训练数据训练的多个模型版本）对比来判断训练过程是否出现了问题。
数据转换 图文异常字符过滤 将文本数据中携带的异常字符替换为空值，数据条目不变。 不可见字符，例如U+0000-U+001F 表情符六 网页标签符号<p> 特殊符号，比如● █ ◆ 乱码和无意义的字符����� 父主题： 数据集清洗算子介绍
Unauthorized 在客户端提供认证信息后，返回该状态码，表明服务端指出客户端所提供的认证信息不正确或非法。 402 Payment Required 保留请求。 403 Forbidden 请求被拒绝访问。 返回该状态码，表明请求能够到达服务端，且服务端能够理解用户请求，但是拒绝
多场景测试：对多种不同场景下的prompt进行测试，确保在各种情境下系统能够有效响应： 不同语言对的翻译：如图3，针对不同的语言对（如中文到法语、俄语到西班牙语），评估翻译效果是否稳定。 图3 多场景测试-不同语言对 复杂对话场景：如图4，当用户在对话中频繁切换意图时，测试意图识
查找数据集每一条数据中携带的异常字符，并将异常字符替换为空值，数据条目不变。 不可见字符，比如U+0000-U+001F。 表情符六。 网页标签符号<style></style>。 特殊符号，比如● █ ◆。 乱码和无意义的字符�����。 特殊空格：[\u2000-\u2009]
目录下只有1个数据文件时，文件无命名要求。 目录下有多个数据文件时，需要通过命名的方式指定数据是训练数据集、验证数据集还是测试数据集。训练数据名称需包含train字样，如train01.csv；验证数据名称需包含eval字样；测试数据名称需包含test字样。文件的命名不能同时包含train、eval和test中的两个或三个。
数据源样本为avi、mp4格式，标注文件为json格式。必须包含两个及以上后缀名字为avi或者mp4的文件。 每个视频时长要大于128s，FPS>=10，且测试集训练集都要有视频。 支持视频的格式包括常见的mp4/avi格式文件，每个视频时长要大于128s，FPS>=10，用annotation.json对文件进行标注。
据集格式要求。 表1 平台支持的数据类型 数据类型 数据内容 支持的文件格式 文本类 文档 txt、mobi、epub、docx、pdf 网页 html 预训练文本 jsonl 单轮问答 jsonl、csv 单轮问答（人设） jsonl、csv 多轮问答 jsonl 多轮问答（人设）
使得权重值趋于较小，从而提高模型的泛化性能。 滑动平滑训练 一种训练策略，通过在模型预测的标签上添加少量噪声来避免过拟合，常用于提升模型在测试数据集上的泛化能力。 极大值抑制阈值 在预测多个边界框时，用于去除高度重叠的边界框。此阈值控制相似的边界框保留的条件。 类别无关极大值抑制开关
管理知识库 Agent开发平台支持对知识库执行获取知识库ID、删除、命中测试操作。 新增、删除知识库中知识文档 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“Agent开发”，跳转至Agent开发平台。 进入“工作台
来源一：互联网开源数据集，如政府网站网页、政府在线问答公开数据、政务百科等。 来源二：特定的私域数据，针对于具体场景和项目需求，收集相关的文本数据。比如通过与当地政府的政数局进行合作，获取政府部门提供的内部脱敏数据等。相关的数据格式包括但不限于：在线网页、离线word文档、离线txt文
默认值为false，如果开启流式，请赋值true，同时n参数只能设置为1。开启流式开关后，API会在生成文本的过程中，实时地将生成的文本发送给客户端，而不是等到生成完成后一次性将所有文本发送给客户端。 temperature 否 Float 用于控制生成文本的多样性和创造力。 取值接近0表示最低的随机性，1表示
上角“继续上传”，上传本地文件。 知识库命中测试 平台支持对创建的知识库进行命中测试，以评估知识库的效果和准确性。 命中测试通过将用户的查询与知识库中的内容进行匹配，最终输出与查询相关的信息，并根据匹配的程度进行排序。 知识库命中测试步骤如下： 登录ModelArts Studi
文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 单个文件大小不超过50GB，文件数量最多1000个。 网页 html 单个文件大小不超过50GB，文件数量最多1000个。 预训练文本 jsonl jsonl格式：text表示预训练所使用的文本数据，具体格式示例如下：
需要保障在图片中人眼能清晰辨别目标。 图片分辨率大于640x640 px，关于拍摄角度、距离、分辨率等画面拍摄条件，需要保证训练集图片和测试部署时的图片保持一致。 构建CV大模型数据集流程 在ModelArts Studio大模型开发平台中，使用数据工程构建盘古CV大模型数据集流程见表2。
是否正确。可以在“创建导入任务”页面下载数据样例进行比对。 使用Python脚本转换自定义格式为jsonl格式 对于文本类数据集，除文档、网页数据类型，其余类型的数据支持将自定义格式转换为jsonl格式。 用户可以上传自定义的python脚本实现数据集由自定义格式到jsonl格式
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
