检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行定义标注的场景。如果您的数据集需存在多种格式数据,或者您的数据格式不符合其他类型数据集时,可选择自由格式的数据集。 表格 表格:适合表格等结构化数据处理。数据格式支持csv。不支持标注,支持对部分表格数据进行预览,但是最多支持100条数据预览。 不同类型数据集支持的功能列表 其
Arts的Moxing接口或者SDK接口读写OBS中的文件。 图12 在Notebook中上传下载大文件 具体操作如下: 从本地上传文件至OBS。具体操作请参见上传文件至OBS桶。 将OBS中的文件下载到Notebook,可以通过在Notebook中运行代码的方式完成数据下载,具
导出ModelArts数据集中的数据 针对数据集中的数据,用户可以选中部分数据或者通过条件筛选出需要的数据,导出成新的数据集。用户可以通过任务历史查看数据导出的历史记录。 目前只有“图像分类”、“物体检测”、“图像分割”类型的数据集支持导出功能。 “图像分类”只支持导出txt格式的标注文件。
桶与ModelArts是否在同一区域。 没有该OBS桶的访问权限。请确认操作Notebook的账号有权限读取OBS桶中的数据。具体操作请参见检查您的账号是否有该OBS桶的访问权限。 OBS文件被删除。请确认待上传的OBS文件是否存在。 异常场景2 图6 文件上传失败 可能原因:
数据管理 数据集管理 数据集版本管理 样本管理 导入任务管理 导出任务管理 Manifest管理 标注任务管理
导出ModelArts数据集中的数据为新数据集 针对数据集中的数据,用户可以选中部分数据或者通过条件筛选出需要的数据,导出成新的数据集。用户可以通过任务历史查看数据导出的历史记录。本章主要介绍将ModelArts数据集中的数据为新数据集的方式,新导出的数据集可直接在ModelArts控制台数据集列表中显示。
file与本地接口的对应关系和切换 API对应关系 Python:指本地使用Python对本地文件的操作接口。支持一键切换为对应的MoXing文件操作接口(mox.file)。 mox.file:指MoXing框架中用于文件操作的接口,其与python接口一一对应关系。 tf.g
人工标注视频数据 由于模型训练过程需要大量有标签的视频数据,因此在模型训练之前需对没有标签的视频添加标签。通过ModelArts您可对视频添加标签,快速完成对视频的标注操作,也可以对已标注视频修改或删除标签进行重新标注。 视频标注仅针对视频帧进行标注。 开始标注 登录ModelA
E表示作业的配置文件路径,如果不指定该参数,则表示配置文件为空。配置文件是一个YAML格式的文件,里面的参数就是命令的option参数。此外,如果用户在命令行中同时指定YAML_FILE配置文件和option参数,命令行中指定的option参数的值将会覆盖配置文件相同的值。 $ma-cli
上传远端文件至JupyterLab 在Notebook的JupyterLab中,支持通过远端文件地址下载文件。 要求:远端文件的URL粘贴在浏览器的输入框中时,可以直接下载该文件。 通过JupyterLab打开一个运行中的Notebook。 单击JupyterLab窗口上方导航栏的ModelArts Upload
[labels] } moss原始数据集是一个多轮对话的jsonl,filter的输入就是其中的一行 循环处理其中的单轮对话 在单轮对话中 对user和assistant的文本进行清洗 分别encode处理后的文本,获得对应的token序列,user_ids和assistant_ids
[labels] } moss原始数据集是一个多轮对话的jsonl,filter的输入就是其中的一行 循环处理其中的单轮对话 在单轮对话中 对user和assistant的文本进行清洗 分别encode处理后的文本,获得对应的token序列,user_ids和assistant_ids
导出ModelArts数据集中的数据到OBS 针对数据集中的数据,用户可以选中部分数据或者通过条件筛选出需要的数据,当需要将数据集中的数据存储至OBS用于后续导出使用时,可通过此种方式导出成新的数据集。用户可以通过任务历史查看数据导出的历史记录。 目前只有“图像分类”、“物体检测
E表示作业的配置文件路径,如果不指定该参数,则表示配置文件为空。配置文件是一个YAML格式的文件,里面的参数就是命令的option参数。此外,如果用户在命令行中同时指定YAML_FILE配置文件和option参数,命令行中指定的option参数的值将会覆盖配置文件相同的值。 命令参数预览
处理ModelArts数据集中的数据 数据处理场景介绍 创建ModelArts数据校验任务 创建ModelArts数据清洗任务 创建ModelArts数据选择任务 创建ModelArts数据增强任务 管理和查看数据处理任务 父主题: 数据准备与处理
使用Notebook进行AI开发调试 Notebook使用场景 创建Notebook实例 通过JupyterLab在线使用Notebook实例进行AI开发 通过PyCharm远程使用Notebook实例 通过VS Code远程使用Notebook实例 通过SSH工具远程使用Notebook
开启“SSH远程开发”功能后,需要设置此参数。 可以选择已有密钥对。 也可以单击密钥对右侧的“立即创建”,跳转到数据加密控制台,在“密钥对管理 > 账号密钥对”页面,单击“创建密钥对”。 创建完Notebook后,可以在Notebook详情页中修改密钥对。 注意: 创建好的密钥对,请下载并妥善保存,使用本地ID
度。 数据增强: 数据扩增通过简单的数据扩增例如缩放、裁剪、变换、合成等操作直接或间接的方式增加数据量。 数据生成应用相关深度学习模型,通过对原数据集进行学习,训练生成新的数据集的方式增加数据量。 数据域迁移应用相关深度学习模型,通过对原域和目标域数据集进行学习,训练生成原域向目标域迁移的数据。
Workflow数据集标注节点代码样例 主要包含三种场景的用例: 场景一:基于用户指定的数据集创建标注任务,并等待用户标注完成。 使用场景: 用户只创建了一个未标注完成的数据集,需要在工作流运行时对数据进行人工标注。 可以放在数据集导入节点之后,对导入的新数据进行人工标注。 数据准备:提
[labels] } moss原始数据集是一个多轮对话的jsonl,filter的输入就是其中的一行 循环处理其中的单轮对话 在单轮对话中 对user和assistant的文本进行清洗 分别encode处理后的文本,获得对应的token序列,user_ids和assistant_ids