检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts团队标注的数据分配机制是什么？ 目前不支持用户自定义成员任务分配，数据是平均分配的。 当数量和团队成员人数不成比例，无法平均分配时，则将多余的几张图片，随机分配给团队成员。 如果样本数少于待分配成员时，部分成员会存在未分配到样本的情况。样本只会分配给labele
duration Integer 启动后设置的自动停止时间，单位为秒。 store_time Integer 该规格实例处于非活跃状态，在数据库最长保存的时长。单位为小时。 默认为“-1”, 表示可以无限制保存。 billing_flavor String 计费规格。当该字段为空时，使用规格名称计费。
duration Integer 启动后设置的自动停止时间，单位为秒。 store_time Integer 该规格实例处于非活跃状态，在数据库最长保存的时长。单位为小时。 默认为“-1”, 表示可以无限制保存。 billing_flavor String 计费规格。当该字段为空时，使用规格名称计费。
lu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证，不适用于多模态模型的精度验证。多模态模型的精度验证，建议使用开源MME数据集和工具（GitHub
ed_for_input/llama2-13b/data/finetune/ 用户自定义执行数据处理脚本修改参数说明 若用户要自定义数据处理脚本并且单独执行，同样以 llama2 为例。 方法一：用户可打开scripts/llama2/1_preprocess_data.sh脚本
栏中选择“开发空间 > Notebook”，进入Notebook页面。 选择状态为“运行中”的Notebook实例，单击操作列的“打开”，访问JupyterLab。 进入JupyterLab页面后，自动打开Launcher页面，如下图所示。您可以使用开源支持的所有功能，详细操作指导可参见JupyterLab官网文档。
Host：云上开发环境的IP地址，即在开发环境实例页面远程访问模块获取的IP地址。例如：dev-modelarts-cnnorth4.huaweicloud.com Port：云上开发环境的端口，即在开发环境实例页面远程访问模块获取的端口号。 User name：固定为ma-user。
MoXing Framework功能介绍 MoXing Framework模块为MoXing提供基础公共组件，例如访问华为云的OBS服务，和具体的AI引擎解耦，在ModelArts支持的所有AI引擎(TensorFlow、MXNet、PyTorch、MindSpore等)下均可以使用。目前，提供的MoXing
ModelArts Standard准备工作 配置ModelArts Standard访问授权 创建并管理工作空间 创建OBS桶用于ModelArts存储数据
创建数据集版本 为数据集创建新的版本。 dataset.create_version(name=None, version_format=None, label_task_type=None, label_task_id=None, **kwargs) 示例代码 示例一：为数据集创建新的版本
数据管理计费项 计费说明 在ModelArts数据管理模块，提供的数据集、数据标注、数据处理功能都不收费。具体如下： 数据集：在ModelArts数据管理中创建数据集时，不收费。 数据标注：在ModelArts数据管理中进行手动标注和智能标注时，不收费。 数据处理：在ModelA
创建ModelArts数据校验任务 前提条件 数据已准备完成：已经创建数据集或者已经将数据上传至OBS。 确保您使用的OBS与ModelArts在同一区域。 创建数据处理任务 登录ModelArts管理控制台，在左侧的导航栏中选择“数据准备>数据处理”，进入“数据处理”页面。 在
创建ModelArts数据选择任务 前提条件 数据已准备完成：已经创建数据集或者已经将数据上传至OBS。 确保您使用的OBS与ModelArts在同一区域。 创建数据处理任务 登录ModelArts管理控制台，在左侧的导航栏中选择“数据准备 > 数据处理”，进入“数据处理”页面。
d}/versions/{version_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 task_id 是 String 数据处理任务ID。 version_id 是 String
删除数据集 根据数据集ID删除指定的数据集 delete_dataset(session, dataset_id) 示例代码 删除数据集 from modelarts.session import Session from modelarts.dataset import Dataset
Server资源，具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保容器可以访问公网。 步骤一：检查环境 SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。 npu-smi info
_filter方法，然后在数据预处理的参数里指定自己的handler名称即可 用户自定义执行数据处理脚本修改参数说明 如果用户要自定义数据处理脚本并且单独执行，同样以 llama2 为例。 方法一：用户可打开scripts/llama2/1_preprocess_data.sh脚
DockerFile构建镜像（可选） 本章节主要介绍通过DockerFile文件构建训练镜像，将训练过程中依赖包封装使用，过程中需要连接互联网git clone，请确保环境可以访问公网，详解操作如下： 进入代码包Dockerfile文件同级目录： cd /home/ma-user/ws/llm_train/AscendFactory
虚拟私有云（Virtual Private Cloud）可以为您构建隔离的、用户自主配置和管理的虚拟网络环境，操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象，用户可以指定SFS
虚拟私有云（Virtual Private Cloud）可以为您构建隔离的、用户自主配置和管理的虚拟网络环境，操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象，用户可以指定SFS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
