-
推理服务访问公网 - AI开发平台ModelArts
推理服务访问公网 本章节提供了推理服务访问公网的方法。 应用场景 推理服务访问公网地址的场景,如: 输入图片,先进行公网OCR服务调用,然后进行NLP处理; 进行公网文件下载,然后进行分析; 分析结果回调给公网服务终端。 方案设计 从推理服务的算法实例内部,访问公网服务地址的方案。如下图所示:
-
访问在线服务(公网访问通道) - AI开发平台ModelArts
访问在线服务(公网访问通道) 背景描述 ModelArts推理默认使用公网访问在线服务。在线服务部署成功后,将为用户提供一个可调用的API,此API为标准Restful API。您可以在服务详情页面,调用指南页签中查看API接口公网地址。 图1 API接口公网地址 访问在线服务
-
ModelArts通过OBS的API访问OBS中的文件,算内网还是公网? - AI开发平台ModelArts
ModelArts通过OBS的API访问OBS中的文件,算内网还是公网? 在同一区域,ModelArts通过OBS的API访问OBS中的文件属于内网通信,不消耗公网流量费。 若是通过互联网从OBS下载数据到本地,这时候会产生OBS公网流量费。OBS的详细计费说明可以参见计费项。 父主题: API/SDK
-
单EIP绑定裸金属服务器 - AI开发平台ModelArts
单EIP绑定裸金属服务器 弹性公网IP支持与单个裸金属服务器绑定实现公网访问和SSH登录,具体步骤可参考绑定弹性公网IP至服务器。 父主题: 网络访问
-
配置外网访问(EIP) - AI开发平台ModelArts
配置外网访问(EIP) 弹性公网IP(Elastic IP,简称EIP)提供独立的公网IP资源,包括公网IP地址与公网出口带宽服务。可以与弹性云服务器、裸金属服务器、虚拟IP、弹性负载均衡、NAT网关等资源灵活地绑定及解绑。集群资源绑定EIP后,外网用户可以通过EIP访问集群资源中的k8s
-
配置外网访问(NAT) - AI开发平台ModelArts
配置外网访问(NAT) NAT网关(NAT Gateway)提供公网NAT网关和私网NAT网关。公网NAT网关为VPC内的云主机提供SNAT和DNAT功能,可轻松构建VPC的公网出入口。私网NAT网关为VPC内的云主机提供网络地址转换服务,使多个云主机可以共享私网IP访问用户本地
-
在k8s集群配置Ascend使用环境 - AI开发平台ModelArts
图1 节点管理 绑定弹性公网IP。 若已有未绑定的弹性公网IP,直接选择即可。如果没有可用的弹性公网IP,需要先购买弹性公网IP。 图2 弹性公网IP 单击“购买弹性公网IP”,进入购买页。 图3 绑定弹性公网IP 图4 购买弹性公网IP 图5 未绑定的弹性公网IP 完成购买后,返回弹性云服务器页面,刷新列表。
-
在Linux上安装配置Grafana - AI开发平台ModelArts
untu,建议选择22.04版本,本地存储100G),具体操作请参考《弹性云服务器快速入门》。 购买弹性公网IP,并绑定到购买的弹性云服务器ECS上,具体操作请参见《弹性公网IP快速入门》。 操作步骤 将本地命令拷贝至ECS服务器请参考如下方法: 在ECS桌面单击“复制粘贴”,使
-
kubectl工具配置 - AI开发平台ModelArts
通过内网使用kubectl工具 通过公网使用kubectl工具,可以将kubectl安装在任一台可以访问公网的机器。 首先需要绑定公网地址,单击公网地址后的“绑定”按钮。 图5 绑定公网地址 选择公网IP,或者跳至创建,创建新的弹性公网IP。 创建公网IP完成后,返回CCE集群详情页
-
单EIP实现多节点的SSH登录和外网访问 - AI开发平台ModelArts
登录管理控制台。 在左侧服务列表中,单击“网络 > 弹性IP”,进入弹性公网IP页面。 单击“创建弹性公网IP”。 参数配置可使用默认值,单击“立即申请”。 单击“NAT网关”,进入公网NAT网关页面。 单击“创建公网NAT网关”。 选择Server所使用“虚拟私有云”和“子网”,计费
-
Gallery CLI配置工具介绍 - AI开发平台ModelArts
从本地上传至AI Gallery仓库中。 约束限制 Gallery CLI配置工具下载文件时依赖集群的公网访问权限,所以在使用CLI时要求集群配置NAT网关,具体操作请参见公网NAT网关。 只有托管到AI Gallery仓库的资产才支持使用Gallery CLI配置工具下载文件,
-
上传镜像 - AI开发平台ModelArts
络链路可以选择: 如果机器与容器镜像仓库在同一区域,则上传镜像走内网链路。 如果机器与容器镜像仓库不在同一区域,则上传镜像走公网链路,机器需要绑定弹性公网IP。 约束与限制 使用客户端上传镜像,镜像的每个layer大小不能大于10G。 上传镜像的容器引擎客户端版本必须为1.11.2及以上。
-
DevServer简介 - AI开发平台ModelArts
DevServer简介 ModelArts Lite DevServer提供不同型号的xPU裸金属服务器,您可以通过弹性公网IP进行访问,在给定的操作系统镜像上可以自行安装加速卡相关的驱动和其他软件,使用SFS或OBS进行数据存储和读取相关的操作,满足算法工程师进行日常训练的需要。
-
推理精度测试 - AI开发平台ModelArts
推理精度测试 本章节介绍如何进行推理精度测试。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-3rdLLM-xxx.zip的llm_tools/llm_evaluation(6.3.905版本)目
-
Step1 准备Docker机器并配置环境信息 - AI开发平台ModelArts
准备Docker机器并配置环境信息 准备一台具有Docker功能的机器,如果没有,建议申请一台弹性云服务器并购买弹性公网IP,并在准备好的机器上安装必要的软件。 ModelArts提供了ubuntu系统的脚本,方便安装docker。 本地Linux机器的操作等同ECS服务器上的操作,请参考本案例。 创建ECS服务器
-
部署推理服务 - AI开发平台ModelArts
已准备好DevServer环境,具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9b资源。 确保容器可以访问公网。 Step1 检查环境 SSH登录机器后,检查NPU设备检查。运行如下命令,返回NPU设备信息。 npu-smi info
-
部署推理服务 - AI开发平台ModelArts
前提条件 已准备好DevServer环境。推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9b资源。 确保容器可以访问公网。 Step1 检查环境 SSH登录机器后,检查NPU设备检查。运行如下命令,返回NPU设备信息。 npu-smi info
-
GPU裸金属服务器无法Ping通的解决方案 - AI开发平台ModelArts
GPU裸金属服务器无法Ping通的解决方案 问题现象 在华为云使用GPU裸金属服务器时, 服务器绑定EIP(华为云弹性IP服务)后,出现无法ping通弹性公网IP现象。 原因分析 查看当前GPU裸金属服务器的安全组的入方向规则的配置,发现仅开通了TCP协议的22端口。 ping命令是一种基于ICMP协议(Internet
-
什么是区域、可用区? - AI开发平台ModelArts
可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属
-
动态挂载OBS并行文件系统 - AI开发平台ModelArts
动态挂载OBS并行文件系统 什么是动态挂载OBS并行文件系统 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,详细介绍可以参见并行文件系统。 在ModelArts运行