检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 服务实例所在的虚拟私有云ID,服务自定义网络配置时返回。 subnet_network_id String 服务实例所在的子网的网络ID,服务自定义网络配置时返回。 security_group_id String 服务实例所在的安全组,服务自定义网络配置时返回。 status
├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py
├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py
├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py
查询Notebook资源类型下的标签 功能介绍 查询用户当前project下Notebook实例类型下的标签,默认查询所有工作空间,无权限不返回标签数据。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表2 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 训练策略类型 文本序列长度(SEQ_LEN) 并行参数设置 micro
ModelArts的Notebook是否支持Keras引擎? 开发环境中的Notebook支持。训练作业和模型部署(即推理)暂时不支持。 Keras是一个用Python编写的高级神经网络API,它能够以TensorFlow、CNTK或者Theano作为后端运行。Notebook开发环境支持“tf
价格详情中的价格为准。 变更配置后对计费的影响 如果您在购买按需计费资源池后变更了规格配置,会产生一个新订单并开始按新配置的价格计费,旧订单自动失效。 如果您在一个小时内变更了规格配置,将会产生多条计费信息。每条计费信息的开始时间和结束时间对应不同配置在该小时内的生效时间。 例如
DevServer:在裸金属服务器中 ,自助配置好存储、安装固件、驱动、配置网络等。 ModelArts Standard ModelArts上昇腾规格如下。 表1 昇腾规格 规格名称 描述 Ascend 1*ascend-snt9b|ARM 24核 192GB Snt9b单卡规格,配搭ARM处理器,适合深度学习场景下的模型训练和调测
部署预测分析服务 模型部署 模型部署操作即将模型部署为在线服务,并且提供在线的测试UI与监控能力。完成模型训练后,可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。 在“运行节点”页面中,待训练状态变为“等待输入”,双击“服务部署”节点,完成相关参数配置。
├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py
├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py
ASCEND description String 规格描述信息。 feature String 规格类别,可选值如下: DEFAULT:CodeLab规格。 NOTEBOOK:Notebook规格。 free Boolean 是否为免费规格。 gpu GPUInfo object GPU信息。
部署文本分类服务 模型部署 模型部署操作即将模型部署为在线服务,并且提供在线的测试UI与监控能力。完成模型训练后,可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。 在“运行总览”页面中,待服务部署节点的状态变为“等待输入”,双击“服务部署”节点,进入配置详情页,完成资源的参数配置操作。
N文件时,则需要根据配置文件生成映射文件;如果模型输入为文件时,则不需要。 操作步骤 登录ModelArts管理控制台,在左侧导航栏中选择“模型部署 > 批量服务”,默认进入“批量服务”列表。 在批量服务列表中,单击左上角“部署”,进入“部署”页面。 在部署页面,填写批量服务相关参数。
28版本。 默认规格 CPU架构 CPU架构指的是中央处理器(CPU)的指令集和设计规范。支持X86和ARM64两种不同的CPU架构。请根据实际需要选择。 实例规格类型 支持CPU、GPU、Ascend三种芯片规格资源,根据实际需要选择。 实例规格 选择需要使用的规格。平台分配的资
r说明 部署开发环境本地服务Predictor,即将模型文件部署在开发环境中,其环境规格取决于开发环境资源规格;例如在一个modelarts.vm.cpu.2u的Notebook中,部署本地Predictor,其运行环境就是cpu.2u。 部署在线服务Predictor,即将存储
表5 开发环境 类型 API 说明 开发环境实例管理 查询Notebook实例列表 可按需查询满足条件的开发环境实例列表。 创建Notebook实例 根据指定的实例规格、AI引擎镜像、存储等相关参数,创建一个开发环境实例。 查询Notebook实例详情 查询开发环境实例详情。 更新Notebook实例
Notebook中使用Conda安装Keras 2.3.1报错 问题现象 使用Conda安装Keras 2.3.1版本报错。 原因分析 可能是Conda网络不通,请使用pip install命令安装。 解决方法 执行 !pip install keras==2.3.1命令安装Keras。 父主题:
*security.ubuntu.com@http://repo.huaweicloud.com@g" /etc/apt/sources.list 安装NFS客户端,挂载对应盘。 sudo apt-get update sudo apt-get install nfs-common 获取SFS