检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
否则不需要这个字段。 type String 数据源类型。可选值如下： OBS：数据来源于OBS TASK：数据处理任务 DATASET：数据集 CUSTOM：资源租户调用 version_id String 数据集的版本。 version_name String 数据集的版本名称。 表6 TemplateParam
训练数据：训练数据列数一致，总数据量不少于100条不同数据（有一个特征取值不同，即视为不同数据）。训练数据列内容不能有时间戳格式（如：yy-mm-dd、yyyy-mm-dd等）的数据。确保指定标签列的取值至少有两个且无数据缺失，除标签列外数据集中至少还应包含两个有效特征列（列的取值至少有两个且数据缺失比例低于
镜像保存时报错“BuildImage,True,Commit successfully|PushImage,False,Task is running.” 问题现象 镜像保存时报错BuildImage,True,Commit successfully|PushImage,False
data_path String 数据集数据存储路径。 data_spliting_enable Boolean 根据样本标注统计，判断数据集是否可以进行训练/验证集切分。可选值如下： true：数据集可以进行训练/验证集切分 false：数据集无法进行训练/验证集切分 grouped_label_stats
指令监督微调训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件、自定义数据集，可以忽略此步骤。 未上传训练权重文件，具体参考上传代码和权重文件到工作环境。 使用自定义数据集训练未上传自定义数据集。具体参考上传自定义数据到指定目录章节并更新dataset_info
镜像保存时报错“container size %dG is greater than threshold %dG”如何解决？ 问题现象 在Notebook里保存镜像时报错“container size %dG is greater than threshold %dG”。 原因分析
原因分析 文件夹“.ssh”的权限不仅是Windows当前用户拥有，或者当前用户权限不足，故修改权限即可。 解决方案 找到.ssh文件夹。一般位于“C:\Users”，例如“C:\Users\xxx”。 “C:\Users”目录下的文件名必须和Windows登录用户名完全一致。 右键单击
则会导致数据集校验环节不通过，影响您的模型训练。 项目创建完成后，将会自动跳转至自动学习页面，并开始运行。单击“数据标注”节点，当状态变为“等待操作”时，需要手动进行确认数据集中的数据标注情况，也可以对数据集中的数据进行标签的修改，数据的增加或删减。 图1 数据标注节点状态 图片标注
执行微调训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件、自定义数据集，可以忽略此步骤。 未上传训练权重文件，具体参考上传代码和权重文件到工作环境。 使用自定义数据集训练未上传自定义数据集。具体参考上传自定义数据到指定目录章节并更新dataset_info
ModelArts团队标注的数据分配机制是什么？ 目前不支持用户自定义成员任务分配，数据是平均分配的。 当数量和团队成员人数不成比例，无法平均分配时，则将多余的几张图片，随机分配给团队成员。 如果样本数少于待分配成员时，部分成员会存在未分配到样本的情况。样本只会分配给labele
然后在超参或者环境变量中设置checkpoint和数据的挂载路径。 图3 在超参或者环境变量中设置checkpoint和数据的挂载路径 训练存储加速的代码样例（PyTorch版reload ckpt） PyTorch模型保存有两种方式。 仅保存模型参数 state_dict = model
对于中小规模团队，管理员希望对ModelArts资源进行主导分配，全局控制，而对于普通开发者只需关注自己实例的生命周期控制。对于开发者账号，一般不会具有te_admin的权限，相应的权限也需要主账号进行统一配置。本章节以使用Notebook进行项目开发为例，通过自定义策略配置实现管理员和开发者分离。
PyTorch版reload ckpt PyTorch模型保存有两种方式。 仅保存模型参数 state_dict = model.state_dict() torch.save(state_dict, path) 保存整个Model（不推荐） torch.save(model,
ModelArts Standard数据管理相关计费FAQ ModelArts上传数据集收费吗？ ModelArts中的数据集管理、标注等操作不收费，但是由于数据集存储在OBS中，因此会根据您使用的OBS桶进行收费。 建议您前往OBS服务，了解OBS计费详情，创建相应的OBS桶用于存储ModelArts使用的数据。
【预训练：pt】预训练数据集相对或绝对地址 【微调：sft】微调数据集相对或绝对地址 【必修改】训练时指定的输入数据路径。请根据实际规划修改。用户根据训练情况二选一； processed_data_dir /home/ma-user/ws/xxx 已处理好数据路径目录，如有处理完成数据可设置此参数
调优数据集异常日志说明 调优任务创建后，状态显示为“运行失败”，报错“Modelarts.6001:Unknown error, please contact the operation and maintenance personnel or check the log to locate
MA_AUDIO_CLASSIFICATION_DIR_V1 使用案例 主要包含两种场景的用例。 基于未标注数据创建数据集 基于已标注的数据创建数据集，并自动导入标注信息 基于未标注数据创建数据集 数据准备：存储在OBS文件夹中的未标注的数据。 from modelarts import workflow as wf
项目创建完成后，将会自动跳转至新版自动学习页面，并开始运行，当数据标注节点的状态变为“等待操作”时，需要手动进行确认数据集中的数据标注情况，也可以对数据集中的数据进行标签的修改，数据的增加或删减。 图1 数据标注节点状态 图片标注 在新版自动学习页面单击“实例详情”按钮，前往数据标注页面。单击任意一张图片，进入图片标注界面。
配置多分支节点数据 功能介绍 仅用于存在多分支执行的场景，在编写构建工作流节点时，节点的数据输入来源暂不确定，可能是多个依赖节点中任意一个节点的输出。只有当依赖节点全部执行完成后，才会根据实际执行情况自动获取有效输出作为输入。 使用案例 from modelarts import
视频标注：识别出视频中每个物体的位置及分类。目前仅支持mp4格式。 前提条件 在进行数据标注前，需要创建相应类型的数据集。具体步骤参考创建数据集。 操作步骤 登录ModelArts管理控制台，在左侧菜单栏中选择“数据准备> 数据标注”，进入“数据标注”管理页面。 在数据标注管理页面，单击页面右上角“创建标注作业”，进
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
