检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集预处理脚本参数说明如下： --input：原始数据集的存放路径。
训练的数据集预处理说明 以llama2-13b举例，使用训练作业运行：0_pl_pretrain_13b.sh训练脚本后，脚本检查是否已经完成数据集预处理。 如果已完成数据集预处理，则直接执行预训练任务。
数据集预处理脚本参数说明如下： --input：原始数据集的存放路径。
训练的数据集预处理说明 以llama2-13b举例，使用训练作业运行：obs_pipeline.sh 训练脚本后，脚本自动执行数据集预处理，并检查是否已经完成数据集预处理。 如果已完成数据集预处理，则直接执行训练任务。
数据集预处理脚本参数说明如下： --input：原始数据集的存放路径。
训练的数据集预处理说明 以llama2-13b举例，使用训练作业运行：obs_pipeline.sh 训练脚本后，脚本自动执行数据集预处理，并检查是否已经完成数据集预处理。 如果已完成数据集预处理，则直接执行训练任务。
创建Workflow数据集节点 功能介绍 通过对ModelArts数据集能力进行封装，实现新版数据集的创建功能。主要用于通过创建数据集对已有数据（已标注/未标注）进行统一管理的场景，后续常见数据集导入节点或者数据集标注节点。
database_name 否 String 导入表格数据集，数据库名字。 input 否 String 表格数据集，HDFS路径。例如/datasets/demo。 ip 否 String 用户GaussDB(DWS)集群的IP地址。
发布和管理AI Gallery数据集 托管数据集到AI Gallery 发布数据集到AI Gallery 管理AI Gallery数据集 父主题： AI Gallery（新版）
找不到新创建的数据集 目前旧版数据集页面不展示新版数据集，新版数据集查看需跳转到新版的页面。 父主题： Standard数据管理
图1 删除数据集图片 父主题： Standard数据管理
如何查看新版数据集的标注详情 登录ModelArts管理控制台，左侧菜单栏选择“数据管理>数据集”。 按照数据集名称，找到您想查看的数据集，单击该数据集名称，进入数据集概览页。 在“概览”页签下，标注信息框，单击“查看标注详情”即可。 父主题： Standard数据管理
可选值如下： true：主动随机分配训练集-验证集 false：不主动随机分配训练集-验证集（默认值） sample_state String 样本状态。
可选值如下： true：包含数据集源数据 false：不包含数据集源数据 is_current Boolean 是否为数据集当前版本。
创建Workflow数据集导入节点 功能介绍 通过对ModelArts数据集能力进行封装，实现数据集的数据导入功能。
创建数据集时直接从设置的数据导入路径中自动同步数据。 创建完数据集后，在数据集列表页面的操作栏单击“导入”，导入数据。 图1 在数据集列表页导入数据 在数据集列表页面，单击某个数据集的名称，进入数据集详情页中，单击“导入>导入”，导入数据。
ModelArts数据集保存到容器的哪里？ ModelArts的数据集和数据存储位置对应的数据都保存在OBS中。 父主题： 一般性问题
创建Workflow数据集标注节点 功能介绍 通过对ModelArts数据集能力进行封装，实现数据集的标注功能。数据集标注节点主要用于创建标注任务或对已有的标注任务进行卡点标注，主要用于需要对数据进行人工标注的场景。
使用样例的有标签的数据或者自己通过其他方式打好标签的数据放到OBS桶里，在modelarts中同步数据源以后看不到已标注，全部显示为未标注 OBS桶设置了自动加密会导致此问题，需要新建OBS桶重新上传数据，或者取消桶加密后，重新上传数据。 父主题： Standard数据管理
表格类型的数据集如何标注 表格类型的数据集适合表格等结构化数据处理。数据格式支持csv。不支持标注，支持对部分表格数据进行预览，但是最多支持100条数据预览。 父主题： Standard数据管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
