检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Service）作为存储的方案，OBS用于存储模型文件、训练数据、代码、日志等，提供了高可靠性的数据存储解决方案。 约束限制 如果要使用自动重启功能，资源规格必须选择八卡规格，只有llama3-8B/70B支持该功能。 本案例仅支持在专属资源池上运行。 支持的模型列表 本方案支持以下模型的训练，如表1所示。
标注任务管理 创建标注任务 查询数据集的标注任务列表 查询标注任务详情 父主题： 数据管理
查询样本列表 查询数据集的样本列表，不支持表格类型数据集。 dataset.list_samples(version_id=None, offset=None, limit=None) 示例代码 示例一：查询数据集样本列表 from modelarts.session import
在ModelArts中智能标注完成后新加入数据需要重新训练吗？ 智能标注完成后，需要对标注结果进行确认。 如果未确认标注结果，直接加入新数据，重新智能标注，会将待确认的数据和新加入的数据全部重新训练。 如果确认标注结果后，再加入新数据，只重新训练标注新的数据。 父主题： Standard数据准备
Turbo的数据存储方案，不适用于仅使用OBS的存储方案。通过OBS对象存储服务（Object Storage Service）与SFS Turbo文件系统联动，可以实现数据灵活管理、高性能读取数据等。通过OBS上传训练所需的模型文件、训练数据等，再将OBS中的数据文件导入到SFS
/maas-test/news/out 数据设置 选择数据集格式 支持选择MOSS、Alpaca和ShareGPT。训练数据需要按照对应格式，上传符合规范的数据集，以更好完成训练任务。关于数据集示例，请参见支持的数据集格式。 说明： 如果数据集选择错误，您可以通过以下方式查看日志详情。
Profiling数据采集 在train.py的main()函数Step迭代处添加配置，添加位置如下图所示： 此处需要注意的是prof.step()需要加到dataloder迭代循环的内部以保证采集单个Step迭代的Profiling数据。 更多信息，请参见Ascend PyTorch
准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据，可以用本案使用的数据集，也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调
Snt9B硬件，完成Open-Sora-Plan1.0训练和推理。 方案概览 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 适配的Cann版本是cann_8.0.rc2。 约束限制 本方案目前仅适用于企业客户。 本文档适配昇腾云ModelArts
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。
准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据，可以用本案使用的数据集，也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调
None 服务介绍 ModelArts产品 产品介绍 03:19 了解什么是ModelArts ModelArts自动学习 视频介绍 02:59 ModelArts自动学习简介 ModelArts CodeLab 视频介绍 04:16 ModelArts CodeLab介绍 JupyterLab
ModelArts昇腾迁移调优工具总览 ModelArts集成了多个昇腾迁移调优工具，方便您在ModelArts平台环境中进行训练推理迁移、精度调试、性能调优等工作，您可在下表中查看当前ModelArts支持的昇腾迁移调优工具及对应指导。 表格中的部分工具已集成到ModelArts基础镜像中（镜像地
支持从OBS中导入新的数据，导入方式包括目录导入和Manifest文件导入。 dataset.import_data(path=None, anntation_config=None, **kwargs) 不同类型的数据集支持的导入方式如表1所示。 表1 不同数据集支持的导入方式 数据集类型 OBS目录导入
false：不导入标签 import_folder 否 String 导入后在数据集存储目录下子目录的名称。多次不同导入可以指定同一个子目录，避免相同样本重复导入。注：对表格数据集不可用。 import_origin 否 String 数据来源。可选值如下： obs：OBS桶（默认值） dws：GaussDB(DWS)服务
1：置信度偏低。 2：基于训练数据集的聚类结果和预测结果不一致。 3：预测结果和训练集同类别数据差异较大。 4：连续多张相似图片的预测结果不一致。 5：图像的分辨率与训练数据集的特征分布存在较大偏移。 6：图像的高宽比与训练数据集的特征分布存在较大偏移。 7：图像的亮度与训练数据集的特征分布存在较大偏移。
创建标注任务 基于数据集创建标注任务。 dataset.create_label_task(self, task_name=None, task_type=None, **kwargs) 示例代码 示例一：基于图像类型的数据集创建物体检测标注任务。 from modelarts.session
8实现手写数字图像识别，示例采用的数据集为MNIST官方数据集。 通过学习本案例，您可以了解如何在ModelArts平台上训练作业、部署推理模型并预测的完整流程。 操作流程 开始使用如下样例前，请务必按准备工作指导完成必要操作。 Step1 准备训练数据：下载MNIST数据集。 Step2 准
准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据，可以用本案使用的数据集，也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调
使用PyCharm上传数据至Notebook 不大于500MB数据量，直接复制至本地IDE中即可。 大于500MB数据量，请先上传到OBS中，再从OBS下载到云上Notebook。 图1 数据通过OBS中转上传到Notebook 上传数据至OBS，具体操作请参见上传文件至OBS桶。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
