检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加标签 如果您还不太清楚如何进行标注，可参考数据集详情页面的“标注样例说明”完成标注。 登录ModelArts管理控制台，选择“数据准备 > 数据标注”进入数据标注页。 在“我创建的”或“我参与的”页签下，找到您需要标注的数据集。 单击数据集名称，进入标注详情页。（默认直接进入“未标注”页签）。
训练的数据集预处理说明 以llama2-13b举例，使用训练作业运行：obs_pipeline.sh 训练脚本后，脚本自动执行数据集预处理，并检查是否已经完成数据集预处理。 如果已完成数据集预处理，则直接执行训练任务。如果未进行数据集预处理，则会自动执行scripts/llama2/1_preprocess_data
ModelLink预训练数据集预处理参数说明 预训练数据集预处理脚本scripts/llama2/1_preprocess_data.sh 中的具体参数如下： --input：原始数据集的存放路径。 --output-prefix：处理后的数据集保存路径+数据集名称（例如：moss-003-sft-data）。
数据一般是不能直接满足训练要求的。为了保障数据质量，以免对后续操作（如数据标注、模型训练等）带来负面影响，开发过程通常需要进行数据处理。 常见的数据处理类型有以下四种： 数据校验：通常数据采集后需要进行校验，保证数据合法。 数据校验是指对数据可用性的基本判断和验证的过程。通常，用
数据准备与处理 数据准备使用流程 创建ModelArts数据集 导入数据到ModelArts数据集 处理ModelArts数据集中的数据 标注ModelArts数据集中的数据 发布ModelArts数据集中的数据版本 分析ModelArts数据集中的数据特征 导出ModelArts数据集中的数据
删除数据集 功能介绍 删除数据集，但不删除数据集的源数据。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI DELETE /v2/{project_id}/datasets/{dataset_id}
ModelLink预训练数据集预处理参数说明 预训练数据集预处理脚本scripts/llama2/1_preprocess_data.sh 中的具体参数如下： --input：原始数据集的存放路径。 --output-prefix：处理后的数据集保存路径+数据集名称（例如：moss-003-sft-data）。
ModelLink预训练数据集预处理参数说明 预训练数据集预处理脚本 scripts/llama2/1_preprocess_data.sh 中的具体参数如下： --input：原始数据集的存放路径。 --output-prefix：处理后的数据集保存路径+数据集名称（例如：alpaca_gpt4_data）。
删除数据集版本 删除数据集的指定版本。 dataset.delete_version(version_id) 示例代码 删除数据集指定版本 from modelarts.session import Session from modelarts.dataset import Dataset
查询数据集版本详情 根据版本ID查询数据集指定版本的详细信息。 dataset.get_version_info(version_id) 示例代码 查询数据集指定版本的详细信息 from modelarts.session import Session from modelarts
Schema列表。 status Integer 数据集状态。当前可选值： 0：数据集创建中 1：数据集正常 2：数据集删除中 3：数据集已删除 4：数据集异常 5：数据集同步中 6：数据集发布中 7：数据集版本切换中 8：数据集导入中 third_path String 第三方路径。
栏中选择“数据准备> 数据标注”，进入“数据标注”管理页面。 在标注作业列表右侧“所有类型”页签下拉选择标注类型，基于“标注类型”选择需要进行标注的标注作业，单击标注作业名称进入标注作业标注详情页。 图1 下拉选择标注类型 在标注作业标注详情中，展示此标注作业下全部数据。 标注视频
数据管理计费项 计费说明 在ModelArts数据管理模块，提供的数据集、数据标注、数据处理功能都不收费。具体如下： 数据集：在ModelArts数据管理中创建数据集时，不收费。 数据标注：在ModelArts数据管理中进行手动标注和智能标注时，不收费。 数据处理：在ModelA
查看数据处理任务详情 登录ModelArts管理控制台，在左侧的导航栏中选择“数据准备>数据处理”，进入“数据处理”页面。 在数据处理列表中，单击数据处理任务名称，进入数据处理任务的版本管理页面。您可以在该页面进行数据处理任务的“修改”与“删除”。 图1 数据处理版本管理页面 您
remove_sample_usage 否 Boolean 发布时是否清除数据集已有的usage信息。可选值如下： true：发布时清除数据集已有的usage信息（默认值） false：发布时不清除数据集已有的usage信息 train_evaluate_sample_ratio
通过团队标注方式标注数据 团队标注使用说明 创建和管理团队 创建团队标注任务 审核并验收团队标注任务结果 管理团队和团队成员 父主题： 标注ModelArts数据集中的数据
任务类型 选择模型支持的任务类型，不同任务类型支持的AI Gallery工具链服务请参见表2。 文本问答：从给定文本中检索问题的答案，适用于从文档中搜索答案的场景。 文本生成：基于给定文本进行续写，生成新的文本。 其他类型：基于实际场景选择合适的任务类型。 说明： 如果模型的“任务
栏中选择“数据准备> 数据标注”，进入“数据标注”管理页面。 在标注作业列表右侧“所有类型”页签下拉选择标注类型，基于“标注类型”选择需要进行标注的标注作业，单击标注作业名称进入标注作业标注详情页。 图3 下拉选择标注类型 在标注作业标注详情中，展示此标注作业下全部数据。 标注文本（文本分类）
栏中选择“数据准备> 数据标注”，进入“数据标注”管理页面。 在标注作业列表右侧“所有类型”页签下拉选择标注类型，基于“标注类型”选择需要进行标注的标注作业，单击标注作业名称进入标注作业标注详情页。 图1 下拉选择标注类型 在标注作业标注详情中，展示此标注作业下全部数据。 标注音频（声音分类）
type 否 String 数据源类型。可选值如下： OBS：数据来源于OBS TASK：数据处理任务 DATASET：数据集 CUSTOM：资源租户调用 version_id 否 String 数据集的版本。 version_name 否 String 数据集的版本名称。 表4 TemplateParam
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
