检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Notebook中，如何使用昇腾多卡进行调试？ 昇腾多卡训练任务是多进程多卡模式，跑几卡需要起几个python进程。昇腾底层会读取环境变量：RANK_TABLE_FILE，开发环境已经设置，用户无需关注。比如跑八卡，可以如下片段代码： export RANK_SIZE=8
使用JupyterLab在线开发和调试代码 JupyterLab是一个交互式的开发环境，可以使用它编写Notebook、操作终端、编辑MarkDown文本、打开交互模式、查看csv文件及图片等功能。可以说，JupyterLab是开发者们下一阶段更主流的开发环境。 ModelArts支持通过JupyterL
13.0-de803ac9 INFO:root:Using OBS-Python-SDK-3.1.2 原因分析 Pytorch通过spawn模式创建了多个进程，每个进程会调用多进程方式使用Mox下载数据。此时子进程会不断销毁重建，Mox也就会不断的被导入，导致打印很多Mox的版本信息。
Ant8裸金属服务器中，使用Megatron-Deepspeed框架训练GPT-2（分别进行单机单卡和单机多卡训练）。 训练完成后给出自动式生成内容，和交互式对话框模式。 背景信息 Megatron-Deepspeed Megatron-Deepspeed是一个基于PyTorch的深度学习模型训练框架。它
控制台，完成权限管理配置，然后选择所需功能，直接使用即可。 ModelArts平台仅针对使用计算规格的功能才涉及计费，公共资源池全部为按需模式，根据选用规格以及作业运行时长收费。专属资源池可按需购买，也可选择包年包月购买，在运行训练作业或部署服务时，选择专属资源池，无需另外付费。
求部署为服务。训练类型不同，部署后的计费方式不同。 将AI应用部署为服务时，根据数据集大小评估模型的计算节点个数，根据实际编码情况选择计算模式。 具体计费方式请参见ModelArts产品价格详情。部署AI应用可选择按需计费，也可根据业务类型和需求购买套餐包。 为避免出现因购买套餐
求部署为服务。训练类型不同，部署后的计费方式不同。 将AI应用部署为服务时，根据数据集大小评估模型的计算节点个数，根据实际编码情况选择计算模式。 具体计费方式请参见ModelArts产品价格详情。部署AI应用可选择按需计费，也可根据业务类型和需求购买套餐包。 为避免出现因购买套餐
USE_PFA_HIGH_PRECISION_MODE=1 # PFA算子是否使用高精度模式；默认值为0表示不开启。针对Qwen2-7B模型和Qwen2-57b模型，必须开启此配置，否则精度会异常；其他模型不建议开启，因为性能会有损失。 若要开启图模式，请配置以下4个环境变量，并且启动服务时不要添加enforce-eager参数。
USE_PFA_HIGH_PRECISION_MODE=1 # PFA算子是否使用高精度模式；默认值为0表示不开启。针对Qwen2-7B模型和Qwen2-57b模型，必须开启此配置，否则精度会异常；其他模型不建议开启，因为性能会有损失。 若要开启图模式，请配置以下4个环境变量，并且启动服务时不要添加enforce-eager参数。
eulerosv2r10.x86_64 架构类型：x86 集群类型：CCE Standard 集群版本：v1.23|v1.25（推荐） 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 分布式训练时仅支持容器隧道网络 集群转发模式：iptables|ipvs
Session鉴权 （可选）Session鉴权 用户名密码认证模式 用户AK-SK认证模式
ix-caching特性则不配置该环境变量。 若要开启图模式，请配置以下5个环境变量，并且启动服务时不要添加enforce-eager参数。 export INFER_MODE=PTA # 开启PTA模式，若不使用图模式，请关闭该环境变量 export PTA_TORCHAIR
减少显存占用，以提升推理吞吐量。 export USE_PFA_HIGH_PRECISION_MODE=1 # PFA算子是否使用高精度模式；默认值为0表示不开启。针对Qwen2-7B模型和Qwen2-57b模型，必须开启此配置，否则精度会异常；其他模型不建议开启，因为性能会有损失。
请求Body参数 参数 是否必选 参数类型 描述 arch 否 String 服务器架构信息。 ARM； X86。 charging_mode 否 String 服务器规格计费模式。 COMMON：同时支持包周期和按需 POST_PAID：按需 PRE_PAID：包周期 server_type
pd_ranktable_tools.py的入参说明如下。 --mode：脚本的处理模式，可选值为`gen`或者`merge`。`gen`模式表示生成rank_table文件，`merge`模式表示合并global rank_table文件。 --save-dir：保存生成的ra
/save_dir pd_ranktable_tools.py的入参说明如下。 --mode：脚本的处理模式，可选值为gen或者merge。gen模式表示生成rank_table文件，merge模式表示合并global rank_table文件。 --save-dir：保存生成的rank_table文件的根目录，默认为当前目录。
减少显存占用，以提升推理吞吐量。 export USE_PFA_HIGH_PRECISION_MODE=1 # PFA算子是否使用高精度模式；默认值为0表示不开启。针对Qwen2-7B模型，必须开启此配置，否则精度会异常；其他模型不建议开启，因为性能会有损失。 如果需要增加模型
用户名密码认证模式： 支持OBS管理、数据管理、训练管理、模型管理、服务管理的鉴权。 用户AK-SK认证模式： 支持OBS管理、数据管理、训练管理、模型管理、服务管理的鉴权。 用户名密码认证模式 本地安装完成ModelArts SDK后，可通过用户名密码认证模式进行Session鉴权。示例代码如下：
会话对象，初始化方法请参见Session鉴权。 当需要操作OBS时必填。 save_mode 否 String 保存模式。默认为w，即重写模式，另外还支持a，为追加模式。 父主题： Manifest管理
会话对象，初始化方法请参见Session鉴权。 当需要操作OBS时必填。 save_mode 否 String 保存模式。默认为w，即重写模式，另外还支持a，为追加模式。 父主题： Manifest管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
