检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例如目录封面、图注表注、标注说明、尾部信息、冗余段落和参考文献等。 N-gram特征过滤 用于判断文档重复度，根据特征N值计算文档内词语按N值组合后的重复此时，可通过以下两种算法比较结果是否大于特征阈值，大于特征阈值的文档删除。
标注文本类数据集 发布文本类数据集 评估文本类数据集 平台预置了多种数据类型的基础评估标准，包括NLP、视频和图片数据，用户可根据需求选择预置标准或自定义评估标准，从而精确优化数据质量，确保数据满足高标准，提升模型性能。
{邮件内容描述}”，摘要任务可以使用“请根据以下内容生成摘要。\n{文本内容}”。\n为换行符。 补说明 对任务进行补充说明，如补充任务要求、规范输出的格式等。将想要的逻辑你梳理表达出来，会让生成效果更加符合预期。说明需要逻辑清晰、无歧义。
审核视频类数据集标注结果的步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 数据标注”，进入“标注审核”页签。 在“标注审核”页面，单击“审核”可进入审核页面审核数据。
在左侧导航栏中选择“数据工程 > 数据获取 > 数据导入”，单击右上角“创建导入任务”。 在“创建导入任务”页面选择支持自定义格式转换的数据集类型，如“文本 > 预训练文本”。 文件格式选择“自定义”，单击“下载脚本样例”获取脚本样例，单击“选择路径”上传自定义格式转换脚本。
token解析失败，请检查获取token的方法，请求体信息是否填写正确，token是否正确；检查获取token的环境与调用的环境是否一致。 token超时（token expires） ，请重新获取token，使用不过期的token。
图2 获取训练日志 父主题： 训练NLP大模型
图1 获取训练日志 父主题： 训练预测大模型
图2 获取训练日志 父主题： 训练CV大模型
图2 获取训练日志 父主题： 训练科学计算大模型
按标签：该场景适用于通过数据打标类清洗算子进行加工的文本类数据集，具体标签名称与标签值可在完成清洗文本类数据集操作后，进入数据集详情页面获取。 填写示例如图1所示。 图1 “按标签”配比方式填写示例 页面将返回至“数据配比”页面，配比任务运行成功后，状态将显示为“运行成功”。
数据工程工具链作为盘古大模型服务的重要组成部分，具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据流通和管理等功能。 该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。
数据工程工具链作为盘古大模型服务的重要组成部分，具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据流通和管理等功能。 该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。
表1 数据工程常见报错与解决方案 功能模块 常见报错 解决方案 数据获取 File format mismatch, require [{0}]. 请检查创建数据集时使用的数据，与平台要求的文件内容格式是否一致。 Verification failed.
基于大模型的数据泛化：您可以通过调用大模型（比如盘古提供的任意一个规格的基础功能模型）来获取有监督场景。一个比较常见的方法是，将无监督的文本按照章节、段落、字符数进行切片，让模型基于这个片段生成问答对，再将段落、问题和答案三者组装为有监督数据。
数据导入员 拥有数据工程数据获取-数据导入模块的所有权限，其余角色不具备。 数据加工员 拥有数据工程数据加工模块的所有权限，其余角色不具备。 数据发布员 拥有数据工程数据发布模块的所有权限，其余角色不具备。
采用简单的逻辑规则进行替换，获取更多数据。此处将[metric]替换为“最大”、“最小”、“中位”、“总”等，示例如下： 科技行业公司的最大利润和市值是多少？ 科技行业公司的最小利润和市值是多少？ 科技行业公司的中位利润和市值是多少？ 科技行业公司的总利润和市值是多少？
订阅成功后的数据资产，将在“数据工程 > 数据获取 > 原始数据集”中显示，可执行后续的数据加工及发布操作。 管理数据资产 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“空间资产 > 数据”。
110001 用户信息获取失败。 查看用户信息是否正确配置。 工作流 112501 工作流认证失败。 查看认证配置。 112502 缺少必要参数。 从打印日志可以看出当前缺失何种参数。 112503 工作流连接数据库失败。 请联系客服解决。 112504 缺少必要权限。
其中，X-Auth-Token为文本翻译的鉴权参数，Token值由创建多语言文本翻译插件获取。 图13 插件配置 试运行工作流。在“试运行”页面，输入对话。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
