检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
data_path String 数据集数据存储路径。 data_spliting_enable Boolean 根据样本标注统计，判断数据集是否可以进行训练/验证集切分。可选值如下： true：数据集可以进行训练/验证集切分 false：数据集无法进行训练/验证集切分 grouped_label_stats
|── data # 预处理后数据 |── pretrain # 预训练加载的数据 |── finetune # 微调加载的数据 |──converted_weights #
续作业异常。 开始标注 登录ModelArts管理控制台，在左侧菜单栏中选择“数据准备> 数据标注”，进入“数据标注”管理页面。 数据管理模块在重构升级中，对未使用过数据管理的用户不可见。如果要使用数据管理相关功能，建议提交工单开通权限。 在标注作业列表右侧“所有类型”页签下拉选
如何将两个数据集合并？ 目前不支持直接合并。 但是可以参考如下操作方式，将两个数据集的数据合并在一个数据集中。 例如需将数据集A和数据集B进行合并。 分别将数据集A和数据集B进行发布。 发布后可获得数据集A和数据集B的Manifest文件。可通过数据集的“数据集输出位置”获得此文件。
SchemaMap objects 表格数据对应的schema映射信息。 source_info SourceInfo object 导入表格数据源所需的信息。 with_column_header Boolean 文件中首行是否是列名，用于表格数据集。可选值如下： true：文件首行为列名
从OBS目录导入数据规范说明 导入数据集时，使用存储在OBS的数据时，数据的存储目录以及文件名称需满足ModelArts的规范要求。 当前只有“图像分类”、“物体检测”、“图像分割”、“文本分类”和“声音分类”标注类型支持按标注格式导入。 其中，“表格”类型的数据集，支持从OBS
表格类型的数据集如何标注 表格类型的数据集适合表格等结构化数据处理。数据格式支持csv。不支持标注，支持对部分表格数据进行预览，但是最多支持100条数据预览。 父主题： Standard数据管理
无法添加关系标签 开始标注 登录ModelArts管理控制台，在左侧菜单栏中选择“数据准备> 数据标注”，进入“数据标注”管理页面。 数据管理模块在重构升级中，对未使用过数据管理的用户不可见。如果要使用数据管理相关功能，建议提交工单开通权限。 在标注作业列表右侧“所有类型”页签下拉选
行分段标注。 开始标注 登录ModelArts管理控制台，在左侧菜单栏中选择“数据准备> 数据标注”，进入“数据标注”管理页面。 数据管理模块在重构升级中，对未使用过数据管理的用户不可见。如果要使用数据管理相关功能，建议提交工单开通权限。 在标注作业列表右侧“所有类型”页签下拉选
模型名称 |── data # 预处理后数据 |── pretrain # 预训练加载的数据 |── finetune # 微调加载的数据 |──converted_weights # Huggi
本地标注的数据，导入ModelArts需要做什么？ ModelArts支持通过导入数据集的操作，导入更多数据。本地标注的数据，当前支持从OBS目录导入或从Manifest文件导入两种方式。导入之后您还可以在ModelArts数据管理模块中对数据进行重新标注或修改标注情况。 从OB
数据管理权限 表1 数据集管理的细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 查询数据集列表 GET /v2/{project_id}/datasets modelarts:dataset:list - √ √ 创建数据集 POST /v2/{project_id}/datasets
注信息。 通过条件筛选数据 在数据概览页中，默认展示数据集的概览情况。在界面右上方，单击“开始标注”，进入数据集的详细数据页面，默认展示数据集中全部数据。在“全部”、“未标注”或“已标注”页签下，您可以在筛选条件区域，添加筛选条件，快速过滤出您想要查看的数据。 支持的筛选条件如下
准备代码 本教程中用到的模型软件包如下表所示，请提前准备好。 软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.908-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
准备代码 本教程中用到的模型软件包如下表所示，请提前准备好。 软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.907-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
|── data # 预处理后数据 |── pretrain # 预训练加载的数据 |── finetune # 微调加载的数据 |──converted_weights #
使用大模型在ModelArts Standard创建AI应用部署在线服务 背景说明 目前大模型的参数量已经达到千亿甚至万亿，随之大模型的体积也越来越大。千亿参数大模型的体积超过200G，在版本管理、生产部署上对平台系统产生了新的要求。例如：导入AI应用时，需要支持动态调整租户存储
py工具将其它节点的权重文件同步上传到主节点。修改代码如图3。 图3 多机同步权重文件 代码上传至OBS 将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。 <bucket_name> |──llm_train
复制数据至容器中空间不足 问题现象 ModelArts训练作业运行时，日志中遇到如下报错，导致数据无法复制至容器中。 OSError:[Errno 28] No space left on device 原因分析 数据下载至容器的位置空间不足。 处理方法 请排查是否将数据下载至“
SchemaMap objects 表格数据对应的schema映射信息。 source_info SourceInfo object 导入表格数据源所需的信息。 with_column_header Boolean 文件中首行是否是列名，用于表格数据集。可选值如下： true：文件首行为列名
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
