检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在ModelArts中使用自定义镜像创建在线服务，如何修改端口？ 当模型配置文件中定义了具体的端口号，例如：8443，创建模型没有配置端口，或者配置了其他端口号，均会导致服务部署失败。您需要把模型中的端口号配置为8443，才能保证服务部署成功。 修改默认端口号，具体操作如下： 登录ModelArts控制台，左侧菜单选择“模型管理”；
NPU分布式训练 场景描述 ranktable路由规划是一种用于分布式并行训练中的通信优化能力，在使用NPU的场景下，支持对节点之间的通信路径根据交换机实际topo做网络路由亲和规划，进而提升节点之间的通信速度。 本案例介绍如何在ModelArts Lite场景下使用ranktable路由规划完成Pytorch
Standard推理服务支持VPC直连的高速访问通道配置 背景说明 访问在线服务的实际业务中，用户可能会存在如下需求： 高吞吐量、低时延 TCP或者RPC请求 因此，ModelArts提供了VPC直连的高速访问通道功能以满足用户的需求。 使用VPC直连的高速访问通道，用户的业务请求不需要经过推理
通过VPC高速访问通道的方式访问在线服务 背景说明 访问在线服务的实际业务中，用户可能会存在如下需求： 高吞吐量、低时延 TCP或者RPC请求 因此，ModelArts提供了VPC直连的高速访问通道功能以满足用户的需求。 使用VPC直连的高速访问通道，用户的业务请求不需要经过推理
数据。 pages Integer 总的页数。 size Integer 每一页的数量。 total Long 总的记录数量。 表4 ImageGroup 参数 参数类型 描述 name String 镜像名称。 create_at Long 镜像创建的时间，UTC毫秒。 namespace
查看当前GPU裸金属服务器的安全组的入方向规则的配置，发现仅开通了TCP协议的22端口。 ping命令是一种基于ICMP协议（Internet Control Message Protocol）的网络诊断工具，利用ICMP协议向目标主机发送数据包并接收返回的数据包来判断网络连接质量。当安全组的入方向
<密钥相对路径> -p <端口> ma-user@<域名/ip> SSH可用时跳过3继续远端排查。 SSH不可用，排查3。 在VS Code Terminal里执行如下检查网络。如果网络异常，请执行命令检查端口。 curl -kv telnet://<域名/ip>:<port> 端口有问题，请联系技术支持。
一般情况都是模型的端口配置有问题。建议您首先检查创建模型的端口是否正确。 处理方法 模型的端口没有配置，如您在自定义镜像配置文件中修改了端口号，需要在部署模型时，配置对应的端口号，使新的模型重新部署服务。 如何修改默认端口号，请参考使用自定义镜像创建在线服务，如何修改默认端口。 父主题：
服务的性能。 当从第三方推理框架迁移到使用ModelArts推理的模型管理和服务管理时，需要对原生第三方推理框架镜像的构建方式做一定的改造，以使用ModelArts推理平台的模型版本管理能力和动态加载模型的部署能力。本案例将指导用户完成原生第三方推理框架镜像到ModelArts推
检查自定义镜像的端口和ws跟wss的配置是否正确。 连接成功后结果如下： 图3 连接成功 优先验证自定义镜像提供的websocket服务的情况，不同的工具实现的websocket服务会有不同，可能出现连接建立后维持不住，可能出现请求一次后连接就中断需要重新连接的情况，Model
阶段。 资源利用率：在作业进程IO没有变化的情况下，采集一定时间段内的GPU利用率或NPU利用率，并根据这段时间内的GPU利用率或NPU利用率的方差和中位数来判断资源使用率是否有变化。如果没有变化，则判定作业卡死。 系统预置了卡死检测的环境变量“MA_HANG_DETECT_TI
数据包走交换机的队列4通道，这是RoCE协议标准。 NCCL_IB_TC=128 ：使用RoCE v2协议，默认使用RoCE v1，但是v1在交换机上没有拥塞控制，可能会丢包，而且后续的交换机不会支持v1，会导致无法运行。 NCCL_ALGO=RING ：nccl_test的总线b
您选择的模型镜像将共享给系统管理员，请确保具备共享该镜像的权限（不支持导入其他账户共享给您的镜像），部署上线时，ModelArts将使用该镜像部署成推理服务，请确保您的镜像能正常启动并提供推理接口。 “容器调用接口” 模型提供的推理接口所使用的协议和端口号，请根据模型实际定义的推理接口进行配置。 “镜像复制” 镜像复
本质上使用transformers进行推理，因为没有框架的优化，执行时间最长。另一方面，由于是使用transformers推理，结果也是最稳定的。对单卡运行的模型比较友好，算力利用率比较高。对多卡运行的推理，缺少负载均衡，利用率低。 在昇腾卡上执行时，需要在 opencompa
本质上使用transformers进行推理，因为没有框架的优化，执行时间最长。另一方面，由于是使用transformers推理，结果也是最稳定的。对单卡运行的模型比较友好，算力利用率比较高。对多卡运行的推理，缺少负载均衡，利用率低。 在昇腾卡上执行时，需要在 opencompa
vllm_path：构造vllm评测配置脚本名字，默认为vllm。 host：与起服务的host保持一致，比如起服务为0.0.0.0，host设置也为0.0.0.0。 service_port：服务端口，与启动服务时的端口保持，比如8080。 max_out_len：在运行类似mmlu、cev
实时视频推理、大视频文件。 创建时间 模型的创建时间。 描述 模型的描述。 操作 部署：将模型发布为在线服务、批量服务或边缘服务。 创建新版本：创建新的模型版本。参数配置除版本外，将默认选择上一个版本的配置信息，您可以对参数配置进行修改。 删除：删除对应的模型。 说明： 如果模型的版本已经部署服务，需
模型界面上配置的端口。确认两处端口保持一致。模型创建界面如果不填端口信息，则ModelArts会默认监听8080端口，即镜像代码中启用的端口必须是8080。 图2 自定义镜像中的代码开放的端口 图3 创建模型界面上配置的端口 健康检查配置有问题 镜像如果配置了健康检查，服务启动失败，从以下两个方面进行排查：
使用容器化部署，导入的元模型有大小限制，详情请参见导入模型对于镜像大小限制。 前提条件 已完成模型开发和训练，使用的AI引擎为ModelArts支持的类型和版本，详细请参见推理支持的AI引擎。 已完成训练的模型包，及其对应的推理代码和配置文件，且已上传至OBS目录中。 确保您使用的OBS与ModelArts在同一区域。
原因分析 日志显示训练进程的退出码为137。训练进程表示用户的代码启动后的进程，所以这里的退出码是用户的训练作业代码返回的。常见的错误码还包括247、139等。 退出码137或者247 可能是内存溢出造成的。请减少数据量、减少batch_size，优化代码，合理聚合、复制数据。 请注意
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
