检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Cluster资源池上使用ranktable路由规划完成Pytorch NPU分布式训练 场景描述 ranktable路由规划是一种用于分布式并行训练中的通信优化能力，在使用NPU的场景下，支持对节点之间的通信路径根据交换机实际topo做网络路由亲和规划，进而提升节点之间的通信速度。
表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。 TP 8 表示张量并行。 PP 1 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。 CP 1 表示context并行，默认为1。应用于训练长序列文本的模型。如果训练时SEQ_LEN超过32768长度，则推荐增加CP值（CP
tensor-model-parallel-size 8 表示张量并行。 pipeline-model-parallel-size 4 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。 context-parallel-size 1 表示context并行，默认为1。应用于训练长序列文本的模
创建多机多卡的分布式训练（DistributedDataParallel） 本章节介绍基于PyTorch引擎的多机多卡数据并行训练。并提供了分布式训练调测具体的代码适配操作过程和代码示例。同时还针对Resnet18在cifar10数据集上的分类任务，给出了分布式训练改造(DDP)的完整代码示例，供用户学习参考。
tensor-model-parallel-size 8 表示张量并行。 pipeline-model-parallel-size 4 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。 context-parallel-size 1 表示context并行，默认为1。应用于训练长序列文本的模
storages=storage ) 案例中的Workflow存在两个并行分支，并且同时只有一条分支会执行，由condition_step的相关配置决定。model_step的输入来源为job_step_1或者j
在实例停止后会被保留，存储支持在线按需扩容。 只能在单个开发环境中使用 。 并行文件系统PFS 说明： 并行文件系统PFS为白名单功能，如需使用，请联系华为技术支持开通。 仅支持挂载同一区域下的OBS并行文件系统（PFS）。 适合直接使用PFS桶作为持久化存储进行AI开发和探索，使用场景如下。
查找Notebook实例 更新Notebook实例 启动/停止/删除实例 保存Notebook实例 动态扩充云硬盘EVS容量 动态挂载OBS并行文件系统 查看Notebook实例事件 Notebook Cache盘告警上报 父主题： 使用Notebook进行AI开发调试
针对不同的数据量和算法情况，推荐以下训练方案： 单机单卡：小数据量（1G训练数据）、低算力场景（1卡Vnt1），存储方案推荐使用“OBS的并行文件系统（存放数据和代码）”。 单机多卡：中等数据量（50G左右训练数据）、中等算力场景（8卡Vnt1），存储方案推荐使用“SFS（存放数据和代码）”。
tensor-model-parallel-size 8 表示张量并行。 pipeline-model-parallel-size 4 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。 context-parallel-size 1 表示context并行，默认为1。应用于训练长序列文本的模
如果创建Notebook启动失败，建议参考调试要点进行检查。 在Notebook列表，单击实例名称，进入实例详情页，查看Notebook实例配置信息。 挂载OBS并行文件系统：在Notebook实例详情页面，选择“存储配置”页签，单击“添加数据存储”，设置挂载参数。 设置本地挂载目录，在“/data/”
(设备)或模型并行组中维护完整的模型和参数，但在每个进程上或模型并行组中处理不同的数据。因此，数据并行非常适合大数据量的训练任务。 TP：张量并行也叫层内并行，通过将网络中的权重切分到不同的设备，从而降低单个设备的显存消耗，使得超大规模模型训练成为可能。张量并行不会增加设备等待时间，除了通信代价外，没有额外代价。
日志提示“ValueError: Invalid endpoint: obs.xxxx.com” 问题现象 训练作业中使用Tensorboard直接写入到OBS路径，在日志中出现报错信息“ValueError: Invalid endpoint: obs. xxxx.com”。 原因分析 出现该问题的可能原因：
1434 SQL Server的TCP端口，用于返回SQLServer使用了哪个TCP/IP端口。 Oracle 1521 Oracle通信端口，弹性云服务器上部署了Oracle SQL需要放行的端口。 MySQL 3306 MySQL数据库对外提供服务的端口。 Windows Server
表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。 TP 8 表示张量并行。 PP 1 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。 CP 1 表示context并行，默认为1。应用于训练长序列文本的模型。如果训练时SEQ_LEN超过32768长度，则推荐增加CP值（CP
表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。 TP 8 表示张量并行。 PP 1 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。 CP 1 表示context并行，默认为1。应用于训练长序列文本的模型。如果训练时SEQ_LEN超过32768长度，则推荐增加CP值（CP
表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。 TP 8 表示张量并行。 PP 1 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。 CP 1 表示context并行，默认为1。应用于训练长序列文本的模型。如果训练时SEQ_LEN超过32768长度，则推荐增加CP值（CP
Token解码能与下一次模型推理并行计算，从而减少总推理时延。该参数需要设置环境变量DEFER_DECODE=1才能生效。 export USE_VOCAB_PARALLEL=1 # 是否使用词表并行；默认值为1表示开启并行，取值为0表示关闭并行。对于词表较小的模型（如llam
Token解码能与下一次模型推理并行计算，从而减少总推理时延。该参数需要设置环境变量DEFER_DECODE=1才能生效。 export USE_VOCAB_PARALLEL=1 # 是否使用词表并行；默认值为1表示开启并行，取值为0表示关闭并行。对于词表较小的模型（如llam
append时，如果被写入文件不存在，则会创建，如果已经存在，则直接追加。 当被追加的源文件比较大时，例如“obs://bucket_name/obs_file.txt”文件大小超过5MB时，追加一个OBS文件的性能比较低。 如果以写入模式或追加模式打开文件，当调用write方法时，待写入内容只
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
