检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
闭并行。对于词表较小的模型（如llama2系模型），关闭并行可以减少推理时延，对于词表较大的模型（如qwen系模型），开启并行可以减少显存占用，以提升推理吞吐量。 export USE_PFA_HIGH_PRECISION_MODE=1 # PFA算子是否使用高精度模式；默认值
查看精度测试结果 默认情况下，评测结果会按照result/{model_name}/的目录结果保存到对应的测试工程。执行多少次，则会在{model_name}下生成多少次结果。benchmark_eval下生成的log中记录了客户端产生结果。数据集的打分结果在result/{model_name}/
步骤二：查看精度测试结果 默认情况下，评测结果会按照result/{model_name}/的目录结果保存到对应的测试工程。执行多少次，则会在{model_name}下生成多少次结果。benchmark_eval下生成的log中记录了客户端产生结果。数据集的打分结果在result/{model_name}/
查看精度测试结果 默认情况下，评测结果会按照result/{model_name}/的目录结果保存到对应的测试工程。执行多少次，则会在{model_name}下生成多少次结果。benchmark_eval下生成的log中记录了客户端产生结果。数据集的打分结果在result/{model_name}/
查看精度测试结果 默认情况下，评测结果会按照result/{model_name}/的目录结果保存到对应的测试工程。执行多少次，则会在{model_name}下生成多少次结果。benchmark_eval下生成的log中记录了客户端产生结果。数据集的打分结果在result/{model_name}/
查看精度测试结果 默认情况下，评测结果会按照result/{model_name}/的目录结果保存到对应的测试工程。执行多少次，则会在{model_name}下生成多少次结果。benchmark_eval下生成的log中记录了客户端产生结果。数据集的打分结果在result/{model_name}/
Timeout错误。所以遇到Socket Timeout问题时首先需要排查的是各个任务执行torchrun的时间点差距是否在合理范围内，如果时间点差距过大，需要优化执行torchrun命令之前的初始化动作，使其时间点差距在合理范围内。 当“MA_RUN_METHOD=msrun”时，表示ModelArts Stan
String 内存。 表90 Npu 参数 参数类型 描述 unit_num String npu卡数。 product_name String 产品名。 memory String 内存。 表91 Memory 参数 参数类型 描述 size Integer 内存大小。 unit
模型配置文件config.json里面定义的“max_position_embeddings”和“seq_length”；如果设置过大，会占用过多显存，影响kvcache的空间。不同模型推理支持的max-model-len长度不同，具体差异请参见附录：基于vLLM（v0.3.2）
flavor String 实例的机器规格，缺省时返回全部类型。现在支持的有： modelarts.vm.cpu.free modelarts.vm.gpu.free flavor_details Object 规格详情，用于展示规格信息，以及查询规格是否售罄。请参见表16。 status
评估推理资源。运行如下命令，返回NPU设备信息可用的卡数。 npu-smi info # 启动推理服务之前检查卡是否被占用、端口是否被占用，是否有对应运行的进程 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。
取宿主机元数据。 购买专属资源池注意事项 使用场景需要选择ModelArts Lite。 CCE集群已完成创建。 节点数量可自定义选择使用多少节点。 开启高级选项：输入容器引擎空间大小（推荐输入最大空间），容器引擎选择Containerd。 k8s Cluster资源配置 若已完
启训练作业，提高训练成功率和提升作业的稳定性。详细可了解：无条件自动重启。 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表2进行配置。 图3 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径
启训练作业，提高训练成功率和提升作业的稳定性。详细可了解：无条件自动重启。 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表2进行配置。 图3 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径
Diffusion新推出的模型在转换中可能会遇到算子不支持的问题，可以到华为云管理页面上提交工单来寻求帮助。 图片大Shape性能劣化严重怎么办？ 在昇腾设备上，可能由于GPU内存墙导致在大shape下遇到性能问题，MindSporeLite提供了Flash Attention编译优化机制，可以考虑升级最新版本的MindSporeLite
启训练作业，提高训练成功率和提升作业的稳定性。详细可了解：无条件自动重启。 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表2进行配置。 图3 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径
启训练作业，提高训练成功率和提升作业的稳定性。详细可了解：无条件自动重启。 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表2进行配置。 图3 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径
以存储更多模型文件。 图2 SFS类型和容量选择 创建ECS服务器 弹性云服务器（Elastic Cloud Server，ECS）是由CPU、内存、操作系统、云硬盘组成的一种可随时获取、弹性可扩展的云服务器。具体过程请参考ECS文档购买一个Linux弹性云服务器。创建完成后，单击“远程登录”，可直接访问ECS服务器。
数据由于指定了ascend后端，Output的内容在显存中，通过tensor的get_data_to_numpy方法来获取，并将数据读取到内存中使用。 outputs = model.predict(inputs) outputs = [output.get_data_to_numpy()
描述 min_cpu String 最小CPU规格。 min_gpu String 最小GPU规格。 min_memory String 最小内存。 min_ascend String 最小Ascend规格。 请求示例 GET https://{endpoint}/v1/{project_id}/models
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
