检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SEED 1234 随机种子数。每次数据采样时,保持一致。 不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。
输入数据的格式必须为csv格式,有效数据行数必须大于100行。列数必须小于200列,数据总大小不能超过100MB。 上传OBS操作步骤: 执行如下操作,将数据导入到您的数据集中,以便用于模型训练和构建。 登录OBS管理控制台,在ModelArts同一区域内创建桶。
用于训练的图片,至少有1种以上的分类,每种分类的图片数不少50张。 预测分析对数据集的要求 训练数据: 训练数据列数一致,总数据量不少于100条不同数据(有一个特征取值不同,即视为不同数据)。
修改在线服务还需要配置“最大无效实例数”设置并行升级的最大节点数,升级阶段节点无效。 父主题: 管理同步在线服务
图2 查看卡信息 修改pod的卡数。由于本案例中为分布式训练,因此所需卡数修改为8卡。 删除已创建的pod。 kubectl delete -f config.yaml 将config.yaml文件中“limit”和“request”改为8。
修改完yaml配置文件后,启动训练脚本;模型不同最少npu卡数不同,npu卡数建议值可参考模型NPU卡数取值表。
SEED 1234 随机种子数。每次数据采样时,保持一致。 不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。
--tensor-model-parallel-size:张量并行数,需要与训练脚本中的TP值配置一样。 --pipeline-model-parallel-size:流水线并行数,需要与训练脚本中的PP值配置一样。 --saver:检查模型保存名称。
success_num Number 操作成功的节点数,当infer_type为edge时,会返回此值。 failed_num Number 操作失败的节点数,当infer_type为edge时,会返回此值。
模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。
训练数据:训练数据列数一致,总数据量不少于100条不同数据(有一个特征取值不同,即视为不同数据)。训练数据列内容不能有时间戳格式(如:yy-mm-dd、yyyy-mm-dd等)的数据。
控制推理的步数 否 40 height 生成图像的纵向分辨率 否 1024 width 生成图像的横向分辨率 否 1024 high_noise_frac 高噪声比例,即基础模型跑的步数占总步数的比例 否 0.8 refiner_switch 是否使用细化模型refiner 否 true
success_num Number 操作成功的节点数,当infer_type为edge时会返回此值。 failed_num Number 操作失败的节点数,当infer_type为edge时会返回此值。
SEED 1234 随机种子数。每次数据采样时,保持一致。 CONVERT_MG2HF True 表示训练完成的权重文件会自动转换为Hugging Face格式权重。若不需要自动转换,则删除该环境变量。
模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。
模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。
表7 GPUInfo 参数 参数类型 描述 gpu Integer GPU卡数。 gpu_memory String GPU内存。 type String GPU类型。
--tensor-model-parallel-size:张量并行数,需要与训练脚本中的配置一样。 --pipeline-model-parallel-size:流水线并行数,需要与训练脚本中的配置一样。 --saver:检查模型保存名称。
SEED 1234 随机种子数。每次数据采样时,保持一致。 CONVERT_MG2HF True 表示训练完成的权重文件会自动转换为Hugging Face格式权重。若不需要自动转换,则删除该环境变量。
--tensor-parallel-size:模型并行数。取值需要和启动的NPU卡数保持一致,可以参考1。此处举例为1,表示使用单卡启动服务。 --block-size:PagedAttention的block大小,推荐设置为128。