检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
train_13b.sh 的脚本，开始训练。 在训练中，程序会自动执行对数据集预处理、权重转换、执行训练等操作，具体可通过训练启动脚本说明和参数配置、训练的数据集预处理说明、训练的权重转换说明了解其中的操作。 训练完成后在SFS Turbo中保存训练的模型结果。（多机情况下，只有
自定义镜像训练作业的自定义镜像的SWR-URL。 user_command String 自定义镜像训练作业的自定义镜像的容器的启动命令。 resource_id String 训练作业的计费资源ID。 dataset_name String 训练作业的数据集名称。 start_time Long 训练作业开始时间。
作业优先级”列的，在弹窗中修改优先级后单击“确定”。 图1 修改作业优先级 给子账号配置"设置作业为高优先级"权限 默认用户权限可选择优先级1和2，配置了"设置作业为高优先级"权限的用户可选择优先级1~3。 使用主用户账号登录华为云的管理控制台，单击右上角用户名，在下拉框中选择“
动保存在“README.md”文件里。 更新后的“README.md”文件自动存放在数据集详情页的“文件版本”页签或者是模型详情页的“模型文件”页签。 创建数据集资产 登录AI Gallery，单击右上角“我的Gallery”进入我的Gallery页面。 单击左上方“创建资产”，选择“数据集”。
方法。 专属池驱动版本如何升级？ 当专属资源池中的节点含有GPU/Ascend资源时，用户基于自己的业务，可能会有自定义GPU/Ascend驱动的需求，ModelArts面向此类客户提供了自助升级专属资源池GPU/Ascend驱动的能力，具体操作请参见资源池驱动升级。 父主题： FAQ
训练作业的系统监控指标。具体请参见表6。 user_image_url String 自定义镜像训练作业的自定义镜像的SWR-URL。 user_command String 自定义镜像训练作业的自定义镜像的容器的启动命令。 resource_id String 训练作业的计费资源ID。
S/MBS的值能够被NPU/(TP×PP×CP)的值进行整除。 Step4 其他配置 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表1进行配置。 图3 选择资源池规格 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。 最后
训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 步骤2 修改训练超参配置 以Llama2-70b和Llama2-13b的LoRA微调为例，执行脚本为0_pl_lora_70b
限。其它权限不足的场景也可以参考本案例操作，只是授权范围不同。不同业务场景下的授权范围请参考权限依赖和委托章节。 由于ModelArts的使用权限依赖OBS服务的授权，您需要为用户授予OBS的系统权限。 如果您需要授予用户关于OBS的所有权限和ModelArts的基础操作权限，请参见配置基础操作权限。
限。其它权限不足的场景也可以参考本案例操作，只是授权范围不同。不同业务场景下的授权范围请参考权限依赖和委托章节。 由于ModelArts的使用权限依赖OBS服务的授权，您需要为用户授予OBS的系统权限。 如果您需要授予用户关于OBS的所有权限和ModelArts的基础操作权限，请参见配置基础操作权限。
kubernetes会根据config.yaml文件中配置的卡数分配资源给pod，如下图所示由于配置了1卡因此在容器中只会显示1卡，说明配置生效。 图2 查看卡信息 修改pod的卡数。由于本案例中为分布式训练，因此所需卡数修改为8卡。 删除已创建的pod。 kubectl delete -f
S/MBS的值能够被NPU/(TP×PP×CP)的值进行整除。 Step4 其他配置 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表1进行配置。 图2 选择资源池规格 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。 最后
S/MBS的值能够被NPU/(TP×PP×CP)的值进行整除。 Step4 其他配置 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表1进行配置。 图2 选择资源池规格 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。 最后
例如访问华为云的OBS服务，和具体的AI引擎解耦，在ModelArts支持的所有AI引擎(TensorFlow、MXNet、PyTorch、MindSpore等)下均可以使用。目前，提供的MoXing Framework功能中主要包含操作OBS组件，即下文中描述的mox.file接口。
0_pl_pretrain_70b.sh 和 0_pl_pretrain_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。 表1 必须修改的训练超参配置 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /ho
Cloud）可以为您构建隔离的、用户自主配置和管理的虚拟网络环境，操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象，用户可以指定SFS
在LLM推理应用中，经常会面临具有长system prompt的场景以及多轮对话的场景。长system prompt的场景，system prompt在不同的请求中但是相同的，KV Cache的计算也是相同的；多轮对话场景中，每一轮对话需要依赖所有历史轮次对话的上下文，历史轮次中的KV Cache在后续每一轮中
“/home/ma-user/work”目录以及动态挂载在“/data”下的目录下的数据会保存，其余目录下内容会被清理。例如：用户在开发环境中的其他目录下安装的外部依赖包等，在Notebook停止后会被清理。您可以通过保存镜像的方式保留开发环境设置，具体操作请参考保存Notebook实例。 Notebook实例将停
”之间的交互。 “PretrainedConfig”：预训练模型的配置基类 提供模型配置的通用属性和两个主要方法，用于序列化和反序列化配置文件。 PretrainedConfig.from_pretrained(dir) # 从目录中加载序列化对象（本地或者是url），配置文件为dir/config
本教程中用到的模型软件包如下表所示，请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6.3.912-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
