检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
合预期的结果。 比如使用openai启动服务，通过配置guided_json参数使用JSON Schema的架构来举例。 JSON Schema使用专门的关键字来描述数据结构，例如标题title、 类型type、属性properties，必须属性required 、定义definitions等，JSON
本章节主要介绍通过DockerFile文件构建训练镜像，将训练过程中依赖包封装使用，过程中需要连接互联网git clone，请确保环境可以访问公网，详解操作如下： 进入代码包Dockerfile文件同级目录： cd /home/ma-user/ws/llm_train/AscendFactory
创建ModelArts数据清洗任务 前提条件 数据已准备完成：已经创建数据集或者已经将数据上传至OBS。 确保您使用的OBS与ModelArts在同一区域。 创建数据处理任务 登录ModelArts管理控制台，在左侧的导航栏中选择“数据准备>数据处理”，进入“数据处理”页面。 在“数据处理”页
创建ModelArts数据增强任务 前提条件 数据已准备完成：已经创建数据集或者已经将数据上传至OBS。 确保您使用的OBS与ModelArts在同一区域。 创建数据处理任务 登录ModelArts管理控制台，在左侧的导航栏中选择“数据准备>数据处理”，进入“数据处理”页面。 在“数据处理”页
删除数据集 根据数据集ID删除指定的数据集 delete_dataset(session, dataset_id) 示例代码 删除数据集 from modelarts.session import Session from modelarts.dataset import Dataset
使用自定义镜像创建训练作业，训练作业的“状态”一直处于“运行中”。 原因分析及处理办法 日志打印如下内容，表示自定义镜像的CPU架构与资源池节点的CPU架构不一致。 standard_init_linux.go:215: exec user process caused "exec
ModelArts为用户提供了标注数据的能力： 人工标注：用户创建单人标注作业，对数据进行手工标注。 智能标注：在标注一定量的数据情况下，用户可以通过启动智能标注任务对数据进行自动标注，提高标注的效率。 团队标注：对于大批量的数据，用户可以通过创建团队标注作业，进行多人协同标注。 人工标注 对
创建数据集版本 为数据集创建新的版本。 dataset.create_version(name=None, version_format=None, label_task_type=None, label_task_id=None, **kwargs) 示例代码 示例一：为数据集创建新的版本
查询数据集详情 查询数据集的详细信息，包括数据集的样本信息、版本信息等。 dataset.get_dataset_info() 示例代码 查询数据集详情 from modelarts.session import Session from modelarts.dataset import
数据准备与处理 数据准备使用流程 创建ModelArts数据集 导入数据到ModelArts数据集 处理ModelArts数据集中的数据 标注ModelArts数据集中的数据 发布ModelArts数据集中的数据版本 分析ModelArts数据集中的数据特征 导出ModelArts数据集中的数据
创建数据集时，此OBS路径下的数据会导入数据集，后续如果直接在OBS中修改数据，会造成数据集的数据与OBS的数据不一致，可能导致部分数据不可用。如果需要在数据集中修改数据，建议使用同步数据源或4章节从OBS目录导入数据到数据集功能。 超出数据集的样本和标签配额，会导致数据无法正常导入。
在Workflow中使用大数据能力（DLI/MRS） 功能介绍 该节点通过调用MRS服务，提供大数据集群计算能力。主要用于数据批量处理、模型训练等场景。 应用场景 需要使用MRS Spark组件进行大量数据的计算时，可以根据已有数据使用该节点进行训练计算。 使用案例 在华为云MR
数据管理计费项 计费说明 在ModelArts数据管理模块，提供的数据集、数据标注、数据处理功能都不收费。具体如下： 数据集：在ModelArts数据管理中创建数据集时，不收费。 数据标注：在ModelArts数据管理中进行手动标注和智能标注时，不收费。 数据处理：在ModelA
本章节主要介绍通过DockerFile文件构建训练镜像，将训练过程中依赖包封装使用，过程中需要连接互联网git clone，请确保环境可以访问公网，详解操作如下： 进入代码包Dockerfile文件同级目录： cd /home/ma-user/ws/llm_train/LLaMAFactory
删除数据集 功能介绍 删除数据集，但不删除数据集的源数据。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI DELETE /v2/{project_id}/datasets/{dataset_id}
的。 根据责任共担模型，云服务提供商和云服务客户各自有一些责任。云服务提供商负责管理云基础架构，提供安全的硬件和软件基础设施，并确保云基础架构的可用性。而云服务客户则需要负责保护自己的数据和应用程序，以及遵守相关的合规性要求。 具体而言，云服务提供商应该提供以下服务和功能： 建立
Schema列表。 status Integer 数据集状态。当前可选值： 0：数据集创建中 1：数据集正常 2：数据集删除中 3：数据集已删除 4：数据集异常 5：数据集同步中 6：数据集发布中 7：数据集版本切换中 8：数据集导入中 third_path String 第三方路径。
数据一般是不能直接满足训练要求的。为了保障数据质量，以免对后续操作（如数据标注、模型训练等）带来负面影响，开发过程通常需要进行数据处理。 常见的数据处理类型有以下四种： 数据校验：通常数据采集后需要进行校验，保证数据合法。 数据校验是指对数据可用性的基本判断和验证的过程。通常，用
本章节主要介绍通过DockerFile文件构建训练镜像，将训练过程中依赖包封装使用，过程中需要连接互联网git clone，请确保环境可以访问公网，详解操作如下： 进入代码包Dockerfile文件同级目录： cd /home/ma-user/ws/llm_train/LLaMAFactory
配置Grafana数据源 在Grafana配置数据源后，即可通过Grafana查看ModelArts的监控数据。 前提条件 已安装Grafana。 配置Grafana数据源 获取Grafana数据源配置代码。 进入AOM管理控制台。 图1 AOM管理控制台 在左侧导航栏中选择“Prometheus监控
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
