检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启动全量推理实例：必须为NPU实例，用于启动全量推理服务，负责输入的全量推理。全量推理占用至少1个容器。 步骤七 启动增量推理实例：必须为NPU实例，用于启动增量推理服务，负责输入的增量推理。增量推理占用至少1个容器。 步骤八 启动scheduler实例：可为CPU实例，用于启动api
${image_name} 为docker镜像的ID，在宿主机上可通过docker images查询得到。 --shm-size：表示共享内存，用于多进程间通信。由于需要转换较大内存的模型文件，因此大小要求200g及以上。 通过容器名称进入容器中。启动容器时默认用户为ma-user用户。 docker
${image_name} 为docker镜像的ID，在宿主机上可通过docker images查询得到。 --shm-size：表示共享内存，用于多进程间通信。由于需要转换较大内存的模型文件，因此大小要求200g及以上。 通过容器名称进入容器中。启动容器时默认用户为ma-user用户。 docker
${image_name} 为docker镜像的ID，在宿主机上可通过docker images查询得到。 --shm-size：表示共享内存，用于多进程间通信。由于需要转换较大内存的模型文件，因此大小要求200g及以上。 通过容器名称进入容器中。启动容器时默认用户为ma-user用户。 docker
本文档中的模型运行环境是ModelArts Standard，用户需要购买专属资源池，具体步骤请参考创建资源池。 资源规格要求： 计算规格：用户可参考表1。 硬盘空间：至少200GB。 昇腾资源规格： Ascend: 1*ascend-snt9b表示昇腾单卡。 Ascend: 8*ascend-snt9b表示昇腾8卡。
本文档中的模型运行环境是ModelArts Standard，用户需要购买专属资源池，具体步骤请参考创建资源池。 资源规格要求： 计算规格：用户可参考表1。 硬盘空间：至少200GB。 昇腾资源规格： Ascend: 1*ascend-snt9b表示昇腾单卡。 Ascend: 8*ascend-snt9b表示昇腾8卡。
rvice_name}/{eval_dataset}-{timestamp} 的目录结果保存到对应的测试工程。执行多少次，则会在{service_name}下生成多少次结果。 单独的评测结果如下： {eval_dataset}-{timestamp} # 例如: mmlu-20240205093257
rvice_name}/{eval_dataset}-{timestamp} 的目录结果保存到对应的测试工程。执行多少次，则会在{service_name}下生成多少次结果。 单独的评测结果如下： {eval_dataset}-{timestamp} # 例如: mmlu-20240205093257
细信息。 如果专属资源池的规格与您的业务不符，可通过扩缩容Standard专属资源池来调整专属资源池的规格。 每个用户对集群的驱动要求不同，在专属资源池列表页中，可自行选择加速卡驱动，并根据业务需要进行立即变更或平滑升级。ModelArts提供了自助升级专属资源池GPU/Asce
k。 在Notebook对应操作列，单击“更多 > 变更镜像”，打开“变更镜像”弹出框，变更镜像选择“自定义镜像”，将当前镜像变更为Step2 构建成功的镜像注册到镜像管理模块注册的镜像，如图8所示。 图8 变更镜像 启动变更后的Notebook，并打开。进入Terminal运行界面，在工作目录，运行启动脚本run
业务运行阶段，先将业务系统对接在线服务请求，然后进行业务逻辑处理和监控设置。 图1 推理服务的端到端运维流程图 整个运维过程会对服务请求失败和资源占用过高的场景进行监控，当超过阈值时发送告警通知。 图2 监控告警流程图 方案优势 通过端到端的服务运维配置，可方便地查看业务运行高低峰情况，并能够实时感知在线服务的健康状态。
统计间隔，1s表示1秒，1m表示1分钟，1h为1小时。 表7 Value 参数 参数类型 描述 cpu String cpu量，即计算资源量。 memory String 内存。 tnt004 String GPU卡的数量。 表8 ResourceMetricsMetadata 参数 参数类型 描述 name String
本文价格仅供参考，实际计算请以ModelArts价格详情中的价格为准。 变更配置后对计费的影响 如果您在购买按需计费资源池后变更了规格配置，会产生一个新订单并开始按新配置的价格计费，旧订单自动失效。 如果您在一个小时内变更了规格配置，将会产生多条计费信息。每条计费信息的开始时间和结束时间对应不同配置在该小时内的生效时间。
ModelArts支持使用ECS创建专属资源池吗？ 不支持。创建资源池时，只能选择界面提供的“未售罄”节点规格进行创建。专属资源池的节点规格后台是对应的ECS资源，但是无法使用账号下购买的ECS，作为ModelArts专属资源池。 父主题： Standard资源池
本文档中的模型运行环境是ModelArts Standard，用户需要购买专属资源池，具体步骤请参考创建资源池。 资源规格要求： 计算规格：用户可参考表1。 硬盘空间：至少200GB。 昇腾资源规格： Ascend: 1*ascend-snt9b表示昇腾单卡。 Ascend: 8*ascend-snt9b表示昇腾8卡。
本文档中的模型运行环境是ModelArts Standard，用户需要购买专属资源池，具体步骤请参考创建资源池。 资源规格要求： 计算规格：用户可参考表2。 硬盘空间：至少200GB。 昇腾资源规格： Ascend: 1*ascend-snt9b表示昇腾单卡。 Ascend: 8*ascend-snt9b表示昇腾8卡。
本文档中的模型运行环境是ModelArts Standard，用户需要购买专属资源池，具体步骤请参考创建资源池。 资源规格要求： 计算规格：用户可参考表2。 硬盘空间：至少200GB。 昇腾资源规格： Ascend: 1*ascend-snt9b表示昇腾单卡。 Ascend: 8*ascend-snt9b表示昇腾8卡。
模型配置文件config.json里面定义的“max_position_embeddings”和“seq_length”；如果设置过大，会占用过多显存，影响kvcache的空间。不同模型推理支持的max-model-len长度不同，具体差异请参见附录：基于vLLM（v0.3.2）
本均有严格的匹配关系，版本不匹配会导致训练失败。 场景描述 目标：构建安装如下软件的容器镜像，并在ModelArts平台上使用Ascend规格资源运行训练任务。 ubuntu-18.04 cann-6.3.RC2 (商用版本) python-3.7.13 mindspore-2.1
MetricObject 参数 参数类型 描述 metric String 运行指标，可选值如下： cpuUsage：CPU使用率 memUsage：物理内存使用率 gpuUtil：GPU使用率 gpuMemUsage：显存使用率 npuUtil：NPU使用率 npuMemUsage：NPU显存使用率
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
