检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查看新版数据集的标注详情 登录ModelArts管理控制台，左侧菜单栏选择“数据管理>数据集”。 按照数据集名称，找到您想查看的数据集，单击该数据集名称，进入数据集概览页。 在“概览”页签下，标注信息框，单击“查看标注详情”即可。 父主题： Standard数据管理
动态挂载OBS并行文件系统成功，但是在Notebook的JupyterLab中无法看到本地挂载点 问题现象 在Notebook中动态挂载OBS并行文件系统，本地挂载目录为/data/demo-yf/，实际在JupyterLab左侧导航看不到此目录。 图1 本地挂载目录 图2 Notebook的JupyterLab
如何将两个数据集合并？ 目前不支持直接合并。 但是可以参考如下操作方式，将两个数据集的数据合并在一个数据集中。 例如需将数据集A和数据集B进行合并。 分别将数据集A和数据集B进行发布。 发布后可获得数据集A和数据集B的Manifest文件。可通过数据集的“数据集输出位置”获得此文件。
如何提升训练效率，同时减少与OBS的交互？ 场景描述 在使用ModelArts进行自定义深度学习训练时，训练数据通常存储在对象存储服务（OBS）中，且训练数据较大时（如200GB以上），每次都需要使用GPU资源池进行训练，且训练效率低。 希望提升训练效率，同时减少与对象存储OBS的交互。可通过如下方式进行调整优化。
使用从OBS选择的数据创建表格数据集如何处理Schema信息？ Schema信息表示表格的列名和对应类型，需要跟导入数据的列数保持一致。 若您的原始表格中已包含表头，需要开启“导入是否包含表头”开关，系统会导入文件的第一行（表头）作为列名，无需再手动修改Schema信息。 若您的
ModelArts中创建的数据集，如何在Notebook中使用 ModelArts上创建的数据集存放在OBS中，可以将OBS中的数据下载到Notebook中使用。 Notebook中读取OBS数据方式请参见如何在Notebook中上传下载OBS文件？。 父主题： 更多功能咨询
表格类型的数据集如何标注 表格类型的数据集适合表格等结构化数据处理。数据格式支持csv。不支持标注，支持对部分表格数据进行预览，但是最多支持100条数据预览。 父主题： Standard数据管理
数据存储 如何对OBS的文件重命名？ Notebook停止或者重启后，“/cache”下的文件还存在么？如何避免重启？ 如何使用pandas库处理OBS桶中的数据？ 在Notebook中，如何访问其他账号的OBS桶？ JupyterLab默认工作路径是什么？ 父主题： Standard
和CIFS的网络协议。在使用裸金属服务器时， 将数据放在SFS盘中， 并发建立多个NFS链接、并发的读写数据、做大模型训练。 但有时候会出现读取速度变慢的现象，并且SFS提示报错"rpc_check_timeout:939 callbacks suppressed"。 原因分析
创建Notebook时，可以根据业务数据量的大小选择资源。 ModelArts会挂载硬盘至“/cache”目录，用户可以使用此目录来储存临时文件。“/cache”与代码目录共用资源，不同资源规格有不同的容量。 映射规则：当前不支持CPU配置cache盘；GPU与昇腾资源为单卡时，ca
如何将多个物体检测的数据集合并成一个数据集？ 可以在OBS桶中创建一个父级目录，目录下面设置不同的文件夹，将多个数据集分别导出到这些文件夹里面，最后用父目录创数据集即可。 登录ModelArts管理控制台，选择“数据管理>数据集”进入数据集概览页，单击右上角“导出”，将对应的数据
AI Gallery下载数据到OBS中使用的带宽是用户自己的还是华为云的？ AI Gallery下载数据到OBS中使用的带宽是华为云的。 父主题： AI Gallery
准备数据 自动学习的每个项目对数据有哪些要求？ 创建预测分析自动学习项目时，对训练数据有什么要求？ 使用从OBS选择的数据创建表格数据集如何处理Schema信息？ 物体检测或图像分类项目支持对哪些格式的图片进行标注和训练？ 父主题： Standard自动学习
下载数据 在AI Gallery中，您可以下载满足业务需要的数据集。 前提条件 注册并登录华为云，且创建好OBS桶用于存储数据。 下载数据集 登录“AI Gallery”。 选择“资产集市 > 数据集”，进入数据页面，该页面展示了所有共享的数据集。 搜索业务所需的数据集，请参见查找和收藏资产。
动态扩充云硬盘EVS容量 什么是动态扩容EVS 存储配置采用云硬盘EVS的Notebook实例， 存储盘是挂载至容器/home/ma-user/work/目录下， 可以在实例运行中的状态下，动态扩充存储盘容量，单次最大动态扩容100GB。 动态扩容EVS适用于哪些使用场景 在Notebook开发过程中，初期存储使用量较小时，
建议使用OBSutil作为和OBS交互的工具，如何在本机安装obsutil可以参考安装和配置OBS命令行工具。 训练数据、代码、模型下载。（本地使用硬盘挂载或者docker cp，在ModelArts上使用OBSutil） 启动脚本，用法无切换，一般就是到达执行目录，然后python
特权池信息数据显示均为0%如何解决？ 问题现象 特权池基本信息页面数据均显示为0%（如CPU使用率、内存使用率、加速卡使用率、加速卡显存使用率）。 原因分析 原因是集群没有安装ICAgent。新建特权池时默认会安装ICAgent，可能由于用户自行卸载ICAgent，导致资源池数据显示异常。
如何对OBS的文件重命名？ 由于OBS管理控制台不支持对OBS的文件重命名，当您需要对OBS文件进行重命名时需要通过调用MoXing API实现，在已有的或者新创建的Notebook中，执行如下命令，通过接口对OBS中的文件进行重命名。 具体操作如下： 如下示例为将文件“obs_file
ipynb文件（用于将OBS中的数据导入至SFS Turbo）。 import moxing as mox #obs存放数据路径 obs_code_dir= "obs://<bucket_name>/llm_train" obs_data_dir= "obs://<bucket
如何将某些图片划分到验证集或者训练集？ 目前只能指定切分比例，随机将样本划分到训练集或者验证集，不支持指定。 切分比例的指定： 在发布数据集时，仅“图像分类”、“物体检测”、“文本分类”和“声音分类”类型数据集支持进行数据切分功能。 一般默认不启用该功能。启用后，需设置对应的训练验证比例。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
