检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传txt、压缩后文件夹的Python示例代码如下。代码中的“/home/ma-user/work/xxx”为文件在Notebook中的存储路径，“obs://bucket_name/xxx”为该文件上传到OBS的存储路径，请您按照实际路径进行修改。 上传一个obs_file.txt文件，从Notebook上传至OBS。
人工标注视频数据 由于模型训练过程需要大量有标签的视频数据，因此在模型训练之前需对没有标签的视频添加标签。通过ModelArts您可对视频添加标签，快速完成对视频的标注操作，也可以对已标注视频修改或删除标签进行重新标注。 视频标注仅针对视频帧进行标注。 开始标注 登录ModelA
异常怎么办？ 在ModelArts自动学习中，如何进行增量训练？ 创建自动学习项目时，如何快速创建OBS桶及文件夹？ 自动学习生成的模型，存储在哪里？支持哪些其他操作？ 自动学习训练后的模型是否可以下载？
当前数据导出后存储的OBS路径。 “输出路径”：表示新数据集的输出路径，即新数据集在完成标注后输出的路径。“输出路径”不能与“保存路径”为同一路径，且“输出路径”不能是“保存路径”的子目录。 图1 导出新数据集 数据导出成功后，您可以前往您设置的保存路径，查看到存储的数据。当导出
用户项目ID，获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 category 否 String 存储类型。可选值为OBS。 mount_path 否 String 在Notebook实例中挂载的路径，必须在Notebook的/data/的子目录下。
种导入方式，需要将导入的数据或Manifest文件提前存储至OBS目录中。 本地上传：将本地数据直接通过Internet上传至OBS指定目录后，再导入数据集。 表格型数据来源 表格数据集支持从5种数据源导入数据，分别为对象存储服务（OBS）、数据仓库服务（DWS）、数据湖探索服务
input_shape="data:1,3,224,224" # 不指定输出路径，则默认在当前执行目录存储结果 t.run(input_shape=input_shape, output_path="/home/xxx") 运行结果将存储在output文件夹中，如果用户指定了output_path，会指定位置
当前数据导出后存储的OBS路径。 “输出路径”：表示新数据集的输出路径，即新数据集在完成标注后输出的路径。“输出路径”不能与“保存路径”为同一路径，且“输出路径”不能是“保存路径”的子目录。 图1 导出新数据集 数据导出成功后，您可以前往您设置的保存路径，查看到存储的数据。当导出
参数类型 说明 extend_storage Array<Storage> 扩展存储列表，如表14所示。扩展存储当前仅支持type为“obsfs”的类型，且仅对部分专属资源池开放。 storage Object 存储路径。表14 auto_stop Object 自动停止参数，如表10
个节点池时不支持删除。 查看节点池的存储配置 在节点池管理的更新页面，可以查看该节点池配置的系统盘、容器盘或数据盘的磁盘类型、大小、数量、写入模式、容器引擎空间大小、挂载路径磁盘配置等参数。 在Lite资源池的扩缩容页面，也可以查看节点池的存储配置信息。 查找搜索节点池 在节点池
表2 ModelArts控制台依赖服务的角色或策略 控制台功能 依赖服务 需配置角色/策略 数据管理（数据集/ 数据标注/数据处理） 对象存储服务OBS OBS Administrator 数据湖探索DLI DLI FullAccess MapReduce服务MRS MRS Administrator
ModelArts FullAccess权限和ModelArts CommonOperations权限只能二选一，不能同时选。 OBS对象存储服务 授予子账号使用OBS服务的权限。ModelArts的数据管理、开发环境、训练作业、模型推理部署均需要通过OBS进行数据中转。 OBS
5 6 7 from modelarts.session import Session # 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； # 本示例以password保存在环境变量中来实现身份验
在ModelArts数据集中添加图片对图片大小有限制吗？ 如何将本地标注的数据导入ModelArts？ 在ModelArts中数据标注完成后，标注结果存储在哪里？ 在ModelArts中如何将标注结果下载至本地？ 在ModelArts中进行团队标注时，为什么团队成员收不到邮件？ ModelArts团队标注的数据分配机制是什么？
commit，再配合一系列自动化操作来上传和更新管理数据等。每次Commit都会带来额外的一些开销，层数越多镜像越大，如果多次保存后就会有存储显示没那么大，但是镜像已经很大。镜像超大会导致加载的各种问题，所以这里做了限制。这种场景下，建议找到原始镜像重新构建环境进行保存。 解决方法
大小写字母，数字和“!@#$%^&*_=|?/':.;,”其中的某一字符。 否 str 使用案例 主要包含三种场景的用例： 场景一：将指定存储路径下的数据导入到目标数据集中。适用于需要对数据集进行数据更新的操作。 用户将指定路径下已标注的数据导入到数据集中（同时导入标签信息），后
Turbo，以便能够通过Notebook访问SFS Turbo服务。随后，通过Notebook将OBS中的数据上传至SFS Turbo，并对存储在SFS Turbo中的数据执行编辑操作。 创建Notebook 创建开发环境Notebook实例，具体操作步骤请参考创建Notebook实例。
统目录。系统目录仅支持系统功能基本运行，无法支持大数据存储。 部分训练任务会在训练过程中生成checkpoint文件，并进行更新。如更新过程中，未删除历史的checkpoint文件，会导致/cache目录逐步被用完。 实际存储空间足够，却依旧报错“No Space left on
场景介绍 方案概览 本文档利用训练框架LlamaFactory+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的微调方案，包括SFT全参微调、LoRA微调、DPO训练方案。 DPO(Direct Preference
描述 name 否 String 工作流存储的名称。填写1-64位，只包含英文、数字、下划线（_）和中划线（-），并且以英文开头的名称。 type 否 String 工作流存储的类型，当前只支持obs。 path 否 String 统一存储的根路径，当前只支持OBS路径。 表7 WorkflowStep
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
