检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
加鉴权方式可能存在安全风险。 表2 插件配置信息表 参数名称 说明 插件URL 插件服务的请求URL地址。 URL协议只支持HTTP和HTTPS。 系统会校验URL地址是否为标准的URL格式。 URL对应的IP默认不应为内网,否则会导致注册失败。仅在非商用环境部署时,才允许支持内
其他类数据集格式要求 文件内容 文件格式 文件要求 图片+CV标注 图片+分割标注(图片+xml格式) 要求用户将标注对象和标注文件存储在同一目录,并且一一对应,如标注对象文件名为“IMG_2.jpg”,那么标注文件的文件名应为“IMG_2.xml”。具体示例如下: ├─dataset-import-example
请检查标注数据集是否存在,是否被删除。 dataset obs file empty. 检查数据集文件是否还存在于原先的OBS桶中。 download obs file failed. 请检查网络是否正常,是否可以访问OBS桶中的数据。 数据评估 annotate type is invalid. 请检查上传的数
低质量SFT数据过滤。包括:对回答过短的问答对、回答风格不适宜的问答对进行过滤。同时,针对利用大模型从原始文档中抽取出来的问答对数据,您可以基于rouge-score值(https://pypi.org/project/rouge-score/)进行问答对的过滤。 下表列举了该场景常见的数据质量问题,以及相对应的清洗策略,供您参考:
ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 参数类型 描述 bucket String 输入数据的OBS桶名称。 path String 初始场数据的存放路径。 表5 TaskOutputDto 参数 参数类型 描述 obs ObsStorageDto
objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 是否必选 参数类型 描述 bucket 是 String 输入数据的OBS桶名称。 path 是 String 初始场数据的存放路径。 表5 TaskOutputDto 参数 是否必选 参数类型 描述 obs 是
ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 参数类型 描述 bucket String 输入数据的OBS桶名称。 path String 初始场数据的存放路径。 表5 TaskOutputDto 参数 参数类型 描述 obs ObsStorageDto
objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 是否必选 参数类型 描述 bucket 是 String 输入数据的OBS桶名称。 path 是 String 初始场数据的存放路径。 表5 TaskOutputDto 参数 是否必选 参数类型 描述 obs 是
工作流合适的位置。 单击画布中的“判断”组件,打开参数配置页面。 在“参数配置”中配置“IF”相关参数。 IF分支由[变量 比较条件 比较对象]组成一条件表达式。 表8 IF分支参数 参数名称 说明 变量 条件表达式左边部分,需要选择来自前序组件的输出参数。 比较条件 条件表达式中间部分,当前支持的比较条件有:
文本类数据集格式要求 ModelArts Studio大模型开发平台支持创建文本类数据集,创建时可导入多种形式的数据,具体格式要求详见表1。 表1 文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 数据集最大100万个文件,单