检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
unit_num Integer 计费单元。 表7 GPUInfo 参数 参数类型 描述 gpu Integer GPU卡数。 gpu_memory String GPU内存。 type String GPU类型。 请求示例 GET https://{endpoint}/v1/{proje
Integer 可以选择的最大节点数量（max_num，为1代表不支持分布式）。 cpu Cpu object cpu规格信息。 gpu Gpu object gpu规格信息。 npu Npu object Ascend规格信息。 memory Memory object 内存信息。 disk
网。默认将创建在第一个子网下。 表11 PoolDriver 参数 参数类型 描述 gpuVersion String GPU驱动版本，物理资源池中含有GPU规格时可填，例如："440.33"。 npuVersion String NPU驱动版本，物理资源池中含有ascend规格时可填，例如："C78"。
服务预测请求内容过大时，会因数据处理慢导致请求超时，优化预测代码，缩短预测时间。 推理速度与模型复杂度强相关，优化模型，缩短预测时间。 扩容实例数或者选择性能更好的“计算节点规格”，例如使用GPU资源代替CPU资源，提升服务处理能力。 服务出错 报错：{"error_code": "ModelArts.4503","error_msg":
0.9”。 裸机的本地磁盘为物理磁盘，无法扩容，如果存储的数据量大，建议使用SFS存放数据，SFS支持扩容。 GPU规格的资源 表1 GPU cache目录容量 GPU规格 cache目录容量 GP Vnt1 800G 8*GP Vnt1 3T GP Pnt1 800G CPU规格的资源
stack size > 8000 max user processes > 1000000 gpu检查 gpu-check 使用gpu，且使用v2训练引擎时（北京四暂无） 检测到gpu 触发容错环境检测达到的效果 容错检查正常通过时，会打印检测项目的日志，表示具体涉及的检查项目
有优势，能够避免在训练过程中数值的上溢或下溢，从而提供更好的稳定性和可靠性，在大模型训练和推理以及权重存储方面更受欢迎。 FP16：用于深度学习训练和推理过程中，可以加速计算并减少内存的占用，对模型准确性的影响在大多数情况下较小。与BF16相比在处理非常大或非常小的数值时遇到困难，导致数值的精度损失。
有优势，能够避免在训练过程中数值的上溢或下溢，从而提供更好的稳定性和可靠性，在大模型训练和推理以及权重存储方面更受欢迎。 FP16：用于深度学习训练和推理过程中，可以加速计算并减少内存的占用，对模型准确性的影响在大多数情况下较小。与BF16相比在处理非常大或非常小的数值时遇到困难，导致数值的精度损失。
Integer 可以选择的最大节点数量（max_num，为1代表不支持分布式）。 cpu Cpu object cpu规格信息。 gpu Gpu object gpu规格信息。 npu Npu object Ascend规格信息。 memory Memory object 内存信息。 disk
[ "GPU" ], "service_type" : "TRAIN", "status" : "ACTIVE", "swr_path" : "swr.xxx.com/atelier/modelarts-modelbox-libtorch-gpu-x86:1
PyCharm插件调试训练ResNet50图像分类模型 示例：从 0 到 1 制作自定义镜像并用于训练（PyTorch+CPU/GPU） 示例：从 0 到 1 制作自定义镜像并用于训练（MPI+CPU/GPU） 使用ModelArts Standard一键完成商超商品识别模型部署 专属资源池训练
Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景
Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景
Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景
IMAGE_SAVE：Notebook实例保存镜像。 resource_category 否 Array of strings 镜像支持的规格，默认值CPU、GPU。 枚举值如下： CPU GPU ASCEND service_type 否 String 镜像支持服务类型。枚举值如下： COMMON：通用镜像。 INFERENCE:
网。默认将创建在第一个子网下。 表11 PoolDriver 参数 参数类型 描述 gpuVersion String GPU驱动版本，物理资源池中含有GPU规格时可填，例如："440.33"。 npuVersion String NPU驱动版本，物理资源池中含有ascend规格时可填，例如："C78"。
指定可用区扩容时，指定可用区的节点数。 表9 PoolDriver 参数 是否必选 参数类型 描述 gpuVersion 否 String GPU驱动版本，物理资源池中含有GPU规格时可填，例如："440.33"。 npuVersion 否 String NPU驱动版本，物理资源池中含有ascend规格时可填，例如："C78"。
有优势，能够避免在训练过程中数值的上溢或下溢，从而提供更好的稳定性和可靠性，在大模型训练和推理以及权重存储方面更受欢迎。 FP16：用于深度学习训练和推理过程中，可以加速计算并减少内存的占用，对模型准确性的影响在大多数情况下较小。与BF16相比在处理非常大或非常小的数值时遇到困难，导致数值的精度损失。
有优势，能够避免在训练过程中数值的上溢或下溢，从而提供更好的稳定性和可靠性，在大模型训练和推理以及权重存储方面更受欢迎。 FP16：用于深度学习训练和推理过程中，可以加速计算并减少内存的占用，对模型准确性的影响在大多数情况下较小。与BF16相比在处理非常大或非常小的数值时遇到困难，导致数值的精度损失。
NPU上运行后，结果会保存在/home/ma-user/result.txt下。 如果在GPU上运行，推荐直接在GPU宿主机上执行，因此不需要启动容器，直接将模型和数据复制到相应目录，然后安装PIP依赖后就可以运行。GPU推理脚本内容参见附录2：在GPU上运行infer.py脚本内容。 附录1：在NPU上运行infer
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
