检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用自定义镜像创建在线服务,如何修改默认端口 当模型配置文件中定义了具体的端口号,例如:8443,创建AI应用没有配置端口(默认端口号为8080),或者配置了其他端口号,均会导致服务部署失败。您需要把AI应用中的端口号配置为8443,才能保证服务部署成功。 修改默认端口号,具体操作如下: 登
动服务。 推理启动脚本必须名为run_vllm.sh,不可修改其他名称。 hostname和port也必须分别是0.0.0.0和8080不可更改。 Step2 部署模型 在ModelArts控制台的AI应用管理模块中,将模型部署为一个AI应用。 登录ModelArts控制台,单击“资产管理
一般情况都是模型的端口配置有问题。建议您首先检查创建模型的端口是否正确。 处理方法 模型的端口没有配置,如您在自定义镜像配置文件中修改了端口号,需要在部署模型时,配置对应的端口号,使新的模型重新部署服务。 如何修改默认端口号,请参考使用自定义镜像创建在线服务,如何修改默认端口。 父主题:
动多卡推理。默认使用"mp"后端启动多卡推理。 推理启动脚本必须名为run_vllm.sh,不可修改其他名称。 hostname和port也必须分别是0.0.0.0和8080不可更改。 高阶参数说明: --enable-prefix-caching:如果prompt的公共前缀较长
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另
动多卡推理。默认使用"mp"后端启动多卡推理。 推理启动脚本必须名为run_vllm.sh,不可修改其他名称。 hostname和port也必须分别是0.0.0.0和8080不可更改。 高阶参数说明: --enable-prefix-caching:如果prompt的公共前缀较长
动多卡推理。默认使用"mp"后端启动多卡推理。 推理启动脚本必须名为run_vllm.sh,不可修改其他名称。 hostname和port也必须分别是0.0.0.0和8080不可更改。 高阶参数说明: --enable-prefix-caching:如果prompt的公共前缀较长
6表示FP16,bfloat16表示BF16。 推理启动脚本必须名为run_vllm.sh,不可修改其他名称。 hostname和port也必须分别是0.0.0.0和8080不可更改。 高阶参数说明: --enable-prefix-caching:如果prompt的公共前缀较长
动多卡推理。默认使用"mp"后端启动多卡推理。 推理启动脚本必须名为run_vllm.sh,不可修改其他名称。 hostname和port也必须分别是0.0.0.0和8080不可更改。 高阶参数说明: --enable-prefix-caching:如果prompt的公共前缀较长
roc:关闭异步后处理特性,关闭后性能会下降。 推理启动脚本必须名为run_vllm.sh,不可修改其他名称。 hostname和port也必须分别是0.0.0.0和8080不可更改。 高阶参数说明: --enable-prefix-caching:如果prompt的公共前缀较长
添加环境变量:将“C:\Program Files\OpenSSH-xx”(路径中包含ssh可执行exe文件)添加到环境系统变量中。 重新打开CMD,并执行ssh,结果如下图即说明安装成功,如果还未装成功则执行5和6。 OpenSSH默认端口为22端口,开启防火墙22端口号,在CMD执行以下命令:
/home/ma-user -m -u 1000 -g 100 -s /bin/bash ma-user 通过增加nginx代理,支持https协议。 协议转换为https之后,对外暴露的端口从tfserving的8501变为8080。 Dockerfile中执行如下命令完成nginx的安装和配置。 RUN
<密钥相对路径> -p <端口> ma-user@<域名/ip> SSH可用时跳过3继续远端排查。 SSH不可用,排查3。 在VS Code Terminal里执行如下检查网络。如果网络异常,请执行命令检查端口。 curl -kv telnet://<域名/ip>:<port> 端口有问题,请联系技术支持。
<密钥相对路径> -p <端口> ma-user@<域名/ip> SSH可用时跳过3继续远端排查。 SSH不可用,排查3。 在VS Code Terminal里执行如下检查网络。如果网络异常,请执行命令检查端口。 curl -kv telnet://<域名/ip>:<port> 端口有问题,请联系技术支持。
使用IMAP协议接受邮件。 HTTPS 443 使用HTTPS协议访问网站。 SQL Server 1433 SQL Server的TCP端口,用于供SQL Server对外提供服务。 SQL Server 1434 SQL Server的TCP端口,用于返回SQLServer使用了哪个TCP/IP端口。
远程连接。 执行如下命令排查本地网络是否可以访问。 curl -kv <ssh域名>:<ssh端口> 如果端口不通,请检查本地网络。 如果问题还未解决,请联系技术支持。 图1 检查端口是否可以访问 父主题: VS Code连接开发环境失败常见问题
型界面上配置的端口。确认两处端口保持一致。模型创建界面如果不填端口信息,则ModelArts会默认监听8080端口,即镜像代码中启用的端口必须是8080。 图2 自定义镜像中的代码开放的端口 图3 创建模型界面上配置的端口 健康检查配置有问题 镜像如果配置了健康检查,服务启动失败,从以下两个方面进行排查:
添加环境变量:将“C:\Program Files\OpenSSH-xx”(路径中包含ssh可执行exe文件)添加到环境系统变量中。 重新打开CMD,并执行ssh,结果如下图即说明安装成功,如果还未装成功则执行5和6。 OpenSSH默认端口为22端口,开启防火墙22端口号,在CMD执行以下命令:
将专属资源池的网络打通VPC VPC下创建弹性云服务器 获取在线服务的IP和端口号 通过IP和端口号直连应用 将专属资源池的网络打通VPC 登录ModelArts控制台,进入“AI专属资源池 > 弹性集群Cluster”找到服务部署使用的专属资源池,单击“名称/ID”,进入资源池详情页面,查看网络配置信息
pem文件生成)。 单击“Open”。如果首次登录,PuTTY会显示安全警告对话框,询问是否接受服务器的安全证书。单击“Accept”将证书保存到本地注册表中。 图6 询问是否接受服务器的安全证书 成功连接到云上Notebook实例。 图7 连接到云上Notebook实例 父主题: 使用Notebook进行AI开发调试