检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
remove_sample_usage 否 Boolean 发布时是否清除数据集已有的usage信息。可选值如下： true：发布时清除数据集已有的usage信息（默认值） false：发布时不清除数据集已有的usage信息 train_evaluate_sample_ratio
复制数据卡死 问题现象 调用mox.file.copy_parallel拷贝数据时卡死。 解决方案 拷贝文件和文件夹均可采用： import moxing as mox mox.file.set_auth(is_secure=False) 拷贝单个大文件5G以上时可采用： from
授权管理 查看授权列表 配置授权 删除授权 创建ModelArts委托
训练管理 训练作业 资源和引擎规格接口
发布时是否需要解析子样本序号，用于医疗数据集。可选值如下： true：解析子样本序号 false：不解析子样本序号（默认值） include_dataset_data Boolean 发布时是否包含数据集源数据。可选值如下： true：包含数据集源数据 false：不包含数据集源数据 is_current
查询标注任务详情 查询标注任务的详细信息。 datset.get_label_task_info(task_id=None) 示例代码 查询标注任务的详情。 task_info = dataset.get_label_task_info(task_id="xs9ZKzLluKzccQfsyi2")
创建数据集时，此OBS路径下的数据会导入数据集，后续如果直接在OBS中修改数据，会造成数据集的数据与OBS的数据不一致，可能导致部分数据不可用。如果需要在数据集中修改数据，建议使用同步数据源或4章节从OBS目录导入数据到数据集功能。 超出数据集的样本和标签配额，会导致数据无法正常导入。
a.sh 。 预训练数据集预处理参数说明 预训练数据集预处理脚本 scripts/llama2/1_preprocess_data.sh 中的具体参数如下： --input：原始数据集的存放路径。 --output-prefix：处理后的数据集保存路径+数据集名称（例如：alpaca_gpt4_data）。
否则不需要这个字段。 type String 数据源类型。可选值如下： OBS：数据来源于OBS TASK：数据处理任务 DATASET：数据集 CUSTOM：资源租户调用 version_id String 数据集的版本。 version_name String 数据集的版本名称。 表4 TemplateParam
创建项目的时候，数据集输入位置没有可选数据 可能原因 创建的OBS桶与创建项目不在同一个区域。 账号没有配置全局授权。 OBS桶里的数据格式不符合要求。 解决方法 查看ModelArts创建的项目与创建的OBS桶是否在同一区域。 查看创建的OBS桶所在区域。 登录OBS管理控制台。
训练数据集预处理说明 以 llama2-13b 举例，使用训练作业运行：obs_pipeline.sh 训练脚本后，脚本自动执行数据集预处理，并检查是否已经完成数据集预处理。 如果已完成数据集预处理，则直接执行训练任务。若未进行数据集预处理，则会自动执行 scripts/llam
使用MoXing复制数据报错 问题现象 调用moxing.file.copy_parallel()将文件从开发环境的OBS桶中复制到其他OBS桶里，但是桶内没有出现目标文件。 使用MoXing复制数据不成功，出现报错。如： ModelArts开发环境使用MoXing复制OBS数据报错：keyError:
ModelArts Studio 大模型即服务平台（后续简称为MaaS服务） 提供端到端的大模型生产工具链和昇腾算力资源，并预置了当前主流的第三方开源大模型。支持大模型数据生产、微调、提示词工程、应用编排等功能。 用户无需自建平台，可以基于MaaS平台开箱即用，对预置大模型进行二次开发，用于生产商用。
出现此故障时，建议根据如下建议，修改标注数据后重试。 多标签的样本（即一张图片包含多个标签），至少需要有2张。如果启动训练时，设置了数据集切分功能，如果多标签的数据少于2张，会导致数据集切分失败。建议检查您的标注信息，保证标注多标签的图片，超过2张。 数据集切分后，训练集和验证集包含的标
则的数据选择可以进一步提升旧模型精度。 数据增强： 数据扩增通过简单的数据扩增例如缩放、裁剪、变换、合成等操作直接或间接的方式增加数据量。 数据生成应用相关深度学习模型，通过对原数据集进行学习，训练生成新的数据集的方式增加数据量。 数据域迁移应用相关深度学习模型，通过对原域和目标
导出ModelArts数据集中的数据为新数据集 针对数据集中的数据，用户可以选中部分数据或者通过条件筛选出需要的数据，导出成新的数据集。用户可以通过任务历史查看数据导出的历史记录。本章主要介绍将ModelArts数据集中的数据为新数据集的方式，新导出的数据集可直接在ModelArts控制台数据集列表中显示。
a.sh 。 预训练数据集预处理参数说明 预训练数据集预处理脚本 scripts/llama2/1_preprocess_data.sh 中的具体参数如下： --input：原始数据集的存放路径。 --output-prefix：处理后的数据集保存路径+数据集名称（例如：alpaca_gpt4_data）。
团队标注的数据分配机制是什么？ 目前不支持用户自定义成员任务分配，数据是平均分配的。 当数量和团队成员人数不成比例，无法平均分配时，则将多余的几张图片，随机分配给团队成员。 如果样本数少于待分配成员时，部分成员会存在未分配到样本的情况。样本只会分配给labeler，比如10000
version_format 否 String 数据集版本格式。可选值如下： Default：默认格式 CarbonData：Carbon格式（仅表格数据集支持） CSV：CSV格式 version_id 否 String 数据集版本ID。当导出数据集某一版本的数据时，需要指定该参数。 with_column_header
查询数据处理的算法类别 功能介绍 查询数据处理的算法类别。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/processor-tasks/items
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
