检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts Lite Server 面向云主机资源型用户，基于裸金属服务器进行封装，可以通过弹性公网IP直接访问操作服务器。 适用于已经自建AI开发平台，仅有算力需求的用户，提供高性价比的AI算力，并预装主流AI开发套件以及自研的加速插件。 ModelArts用户指南（Lite
满足不同场景的业务需求。云硬盘就类似PC中的硬盘。 存储数据的逻辑 存放的是文件，会以文件和文件夹的层次结构来整理和呈现数据。 存放的是对象，可以直接存放文件，文件会自动产生对应的系统元数据，用户也可以自定义文件的元数据。 存放的是二进制数据，无法直接存放文件，如果需要存放文件，需要先格式化文件系统后使用。
Host Name (or IP address)：云上开发环境Notebook实例的访问地址，即在Notebook实例详情页获取的地址。例如：dev-modelarts-cnnorth4.huaweicloud.com。 Port：云上Notebook实例的端口，即在Noteboo
通过VPC访问通道的方式访问在线服务 背景说明 如果您希望在自己账号的VPC内部节点访问ModelArts推理的在线服务，可以使用VPC访问通道的功能，用户通过在自己账号的指定VPC下创建终端节点，连接到ModelArts的终端节点服务，即可在自己的VPC节点中访问在线服务。 约束限制
目前jupyter插件多数采用wheel包的形式发布，一次性完成前后端插件的安装，安装时注意使用jupyter服务依赖的环境“/modelarts/authoring/notebook-conda/bin/pip”进行安装，不要使用默认的anaconda（kernel依赖的python环境）的pip进行安装。 使用命令jupyter
Turbo中单击右上角的“创建文件系统”，如果能正常打开页面，表示当前用户具备SFS的操作权限。 验证ECS权限。 在左上角的服务列表中，选择ECS服务，进入ECS管理控制台。 在ECS管理控制台，单击右上角的“购买弹性云服务器”，如果能正常打开页面，表示当前用户具备ECS的操作权限。 验证VPC权限。
中单击需要登录的节点名称，跳转至弹性云服务器页面。 图2 节点管理 绑定弹性公网IP。 若已有未绑定的弹性公网IP，直接选择即可。如果没有可用的弹性公网IP，需要先购买弹性公网IP。 图3 弹性公网IP 单击“购买弹性公网IP”，进入购买页。 图4 绑定弹性公网IP 图5 购买弹性公网IP
下配置，设置该程序可见的GPU： os.environ['CUDA_VISIBLE_DEVICES'] = '0,1,2,3,4,5,6,7' 其中，0为服务器的GPU编号，可以为0，1，2，3等，表明对程序可见的GPU编号。如果未进行添加配置则该编号对应的GPU不可用。 父主题：
运行时依赖，没有正常安装pip依赖包。 原因分析 自定义镜像导入不支持配置运行时依赖，系统不会自动安装所需要的pip依赖包。 处理方法 重新构建镜像。 在构建镜像的dockerfile文件中安装pip依赖包，例如安装Flask依赖包。 # 配置华为云的源，安装 python、python3-pip
保了模型权重的功能性和准确性后，才可以进行模型权重的滚动升级。 获取待更新的模型权重文件，并上传到OBS桶中。 参考创建我的模型，用待更新的模型权重文件新建一个我的模型。关键参数请参见表1。 表1 创建模型的关键参数说明 参数 说明 来源模型 选择和待升级的模型服务的“部署模型”同一个模型框架。
GpuInfo object 规格的GPU信息。 npu_info NpuInfo object 规格的NPU信息。 source_type String 此规格应用于模型的类型，取值为空或auto，默认为空，代表是用户自己产生的模型；取值为auto时，代表是自动学习训练的模型，计费方式有差别。
访问在线服务支持的访问通道 通过公网访问通道的方式访问在线服务 通过VPC访问通道的方式访问在线服务 通过VPC高速访问通道的方式访问在线服务 父主题： 将模型部署为实时推理作业
访问在线服务支持的传输协议 使用WebSocket协议的方式访问在线服务 使用Server-Sent Events协议的方式访问在线服务 父主题： 将模型部署为实时推理作业
请检查推理代码是否存在内存溢出或者内存泄漏的问题。 模型运行异常。 请检查您的模型是否能正常运行。例如模型依赖的资源是否故障，需要排查推理日志。 实例pod数量异常 。 如果您曾经找过运维人员删除过异常的实例pod，事件中可能会出现告警“服务异常，不正常的实例数为XXX”。在出现这种告警后，服务会自动拉起新的正常实
访问在线服务支持的认证方式 通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务 父主题： 将模型部署为实时推理作业
SFS类型和容量选择 创建ECS服务器 弹性云服务器（Elastic Cloud Server，ECS）是由CPU、内存、操作系统、云硬盘组成的一种可随时获取、弹性可扩展的云服务器。具体过程请参考ECS文档购买一个Linux弹性云服务器。创建完成后，单击“远程登录”，可直接访问ECS服务器。 注意
AK/SK签名认证方式，仅支持Body体12M以内，12M以上的请求，需使用Token认证。 客户端须注意本地时间与时钟服务器的同步，避免请求消息头X-Sdk-Date的值出现较大误差。因为API网关除了校验时间格式外，还会校验该时间值与网关收到请求的时间差，如果时间差超过15分钟，API网关将拒绝请求。
SFS类型和容量选择 创建ECS服务器 弹性云服务器（Elastic Cloud Server，ECS）是由CPU、内存、操作系统、云硬盘组成的一种可随时获取、弹性可扩展的云服务器。具体过程请参考ECS文档购买一个Linux弹性云服务器。创建完成后，单击“远程登录”，可直接访问ECS服务器。 注意
SFS类型和容量选择 创建ECS服务器 弹性云服务器（Elastic Cloud Server，ECS）是由CPU、内存、操作系统、云硬盘组成的一种可随时获取、弹性可扩展的云服务器。具体过程请参考ECS文档购买一个Linux弹性云服务器。创建完成后，单击“远程登录”，可直接访问ECS服务器。 注意
docker 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 sysctl -p | grep net.ipv4.ip_forward 如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
