检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在训练开始前，因模型权重文件可能与训练框架不匹配或有优化，因此需要针对模型的tokenizer文件进行修改或替换，不同模型的tokenizer文件修改内容如下。 falcon-11B模型 在训练开始前，针对falcon-11B模型中的tokenizer文件，需要替换代码。替换文件{work_d
@modelarts:color 否 String 内置属性：标签展示的颜色，为色彩的16进制代码，默认为空。例如：“#FFFFF0”。 @modelarts:default_shape 否 String 内置属性：物体检测标签的默认形状（物体检测标签专用属性），默认为空。可选值如下： bndbox：矩形。
WorkflowSubgraph objects 子图。 duration 否 String 执行的时长。 events 否 Array of strings 执行的事件。 labels 否 Array of strings 为执行记录设置的标签。 data_requirements 否
copy_parallel(obs_dir, local_dir) 实际操作如下图所示。 图1 上传OBS文件到Notebook的代码示例 Step3 启动推理服务 配置需要使用的NPU卡为容器中的第几张卡。例如：实际使用的是容器中第1张卡，此处填写“0”。 export ASCEND_RT_VISIBLE_DEVICES=0
部署边缘服务时，使用到IEF纳管的边缘节点，就需要用户给ModelArts的委托赋予Tenant Administrator权限，否则将无法成功部署边缘服务。具体可参见IEF的权限说明。 处理方法1 在ModelArts管理控制台，选择“权限管理”。 在用户名对应的“授权内容”列，单击“查
运行Dockerfile文件，在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。 解压AscendCloud压缩包及该目录下的训练代码AscendCloud-AIGC-6
运行Dockerfile文件，在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。 解压AscendCloud压缩包及该目录下的训练代码AscendCloud-AIGC-6
致磁盘空间不足。 磁盘配额不足。 处理方法 查看虚拟机所使用的存储空间，再查看回收站文件占用内存，根据实际删除回收站里不需要的大文件。 在Notebook实例详情页，查看实例的存储容量。 执行如下命令，排查虚拟机所使用的存储空间，一般接近存储容量，请排查回收站占用内存。 cd /home/ma-user/work
操作流程 图1 操作流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备资源 本教程案例是基于ModelArts Standard运行的，需要购买并开通ModelArts专属资源池和OBS桶。 准备数据 准备训练数据，可以用本案使用的数据集，也可以使用自己准备的数据集。
创建用户组并加入用户 主用户账号下面可以创建多个子账号，并对子账号的权限进行分组管理。此步骤介绍如何创建用户组、子账号、并将子账号加入用户组中。 主用户登录管理控制台，单击右上角用户名，在下拉框中选择“统一身份认证”，进入IAM服务。 图1 统一身份认证 创建用户组。在左侧菜单栏中，选择“用
在训练开始前，因模型权重文件可能与训练框架不匹配或有优化，因此需要针对模型的tokenizer文件进行修改或替换，不同模型的tokenizer文件修改内容如下。 falcon-11B模型 在训练开始前，针对falcon-11B模型中的tokenizer文件，需要替换代码。替换文件{work_d
录介绍。 AscendSpeed是用于模型并行计算的框架，其中包含了许多模型的输入处理方法。 获取路径：Support网站 说明： 如果没有下载权限，请联系您所在企业的华为方技术支持下载获取。 权重和词表文件 包含了本教程使用到的HuggingFace原始权重文件和Tokenizer。
控制等功能，可以帮助您安全的控制云服务资源的访问。如果华为账号已经能满足您的要求，不需要通过IAM对用户进行权限管理，您可以跳过本章节，不影响您使用ModelArts服务的其他功能。 IAM是提供权限管理的基础服务，无需付费即可使用，您只需要为您账号中的资源进行付费。 通过IAM
在训练开始前，因模型权重文件可能与训练框架不匹配或有优化，因此需要针对模型的tokenizer文件进行修改或替换，不同模型的tokenizer文件修改内容如下。 falcon-11B模型 在训练开始前，针对falcon-11B模型中的tokenizer文件，需要替换代码。替换文件{work_d
在训练开始前，因模型权重文件可能与训练框架不匹配或有优化，因此需要针对模型的tokenizer文件进行修改或替换，不同模型的tokenizer文件修改内容如下。 falcon-11B模型 在训练开始前，针对falcon-11B模型中的tokenizer文件，需要替换代码。替换文件{work_d
5 ......）的训练脚本（在scripts_modellink下）和配置（在examples/config下），并可通过统一的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成，则执行脚本，自动完成数据预处理和权重转换的过程。 如果用户进行
本代码包中集成了不同模型（包括llama2、llama3、Qwen、Qwen1.5 ......）的训练脚本，并可通过统一的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成，则执行脚本，自动完成数据预处理和权重转换的过程。 如果用户进行自定义数据集预处理以及权重转换，可通过编辑 1_preprocess_data
操作流程 图1 操作流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备资源 本教程案例是基于ModelArts Standard运行的，需要购买并开通ModelArts专属资源池和OBS桶。 准备数据 准备训练数据，可以用本案使用的数据集，也可以使用自己准备的数据集。
5 ......）的训练脚本（在scripts_modellink下）和配置（在examples/config下），并可通过统一的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成，则执行脚本，自动完成数据预处理和权重转换的过程。 如果用户进行
selected specification.） 图1 资源不足，服务调度失败 原因分析 实例配置的规格过大，CPU或者内存剩余资源不足；（"insufficient CPU" / "insufficient memory"） 模型需要的磁盘空间大，磁盘空间不足；（"x node(s)
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
