检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.909） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明
LLaVA模型基于DevServer适配PyTorch NPU推理指导（6.3.906） LLaVA是一种新颖的端到端训练的大型多模态模型，它结合了视觉编码器和Vicuna，用于通用的视觉和语言理解，实现了令人印象深刻的聊天能力，在科学问答（Science QA）上达到了新的高度。
moondream2基于DevServer适配PyTorch NPU推理指导 方案概览 本文档从模型部署的环境配置、模型转换、模型推理等方面进行介绍moondream2模型在ModelArts DevServer上部署，支持NPU推理场景。 本方案目前仅适用于部分企业客户，完成本
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 父主题： LLM大语言模型训练推理
使用OS发现功能手动创建并绑定账号 在华为云上购买的主机如果没有绑定账号，可以通过OS发现功能为主机创建并绑定账号。 前提条件 已获取基础运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。 OS发现 进入AppStage运维中心。 单击，选择“运维 > 主机管理服务（VMS）”。
设置主机安全配置 纳管主机后运维中心默认不会纳管主机密码，不会对密码进行定时管理并修改，安全配置项的配置值默认为“false”。如果需要对已纳管的主机密码进行统一管理，需要修改配置值为“true”，具体操作请参见修改安全配置项，配置值为“true”时密码管理定时任务会自动修改主机
通过IaC分发敏感配置 敏感配置项录入后，需要通过IaC部署后生效变成已发布状态，微服务才能获取。 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。 步骤一：生成敏感配置项坐标 无论通过什么方式获取敏感配置，都需要有一个唯一标识，让
通过申请sudo权限获取主机root账号操作权限 部分操作使用业务账号无法操作，需要申请sudo权限，本章节介绍如何申请sudo权限。 申请sudo权限 进入AppStage运维中心。 单击，选择“运维 > 主机管理服务（VMS）”。 选择左侧导航栏的“安全管理 > sudo权限”进入“sudo权限”页面。
运维中心负载均衡功能介绍 负载均衡（Software/Server Load Balancer，SLB）基于Nginx/OpenResty构建，作为业务前置的流量接入网关，提供反向代理、负载均衡、路由分发、灰度分流、限流降级、访问控制、监控告警等能力。 SLB组件介绍 SLB组件间的关系如图1所示。
查看及管理命名空间 支持创建环境、查看当前组织下已开通的命名空间，并将某一个命名空间设置为默认。 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。 创建环境 进入AppStage运维中心。 在顶部导航栏选择服务。 单击，选择“微服务开发
使用及管理预置模板 公共屏幕模板是为用户提供具有业务属性的模板，方便用户基于这些模板快速创建屏幕。 公共屏幕模板包含我的模板和预置模板。预置模板为系统预置的屏幕模板，所有用户均可以使用。预置模板支持复制、预览及查看详情。 前提条件 需要具备AppStage指标开发者或运营管理员权限，权限申请的操作请参见权限管理。
服务部署、启动、升级和修改时，资源不足如何处理？ 问题现象 启动服务失败，报错：资源不足，服务调度失败。（Schedule failed due to insufficient resources. Retry later.或ModelArts.3976：No resources
Notebook运行代码报错，在'/tmp'中到不到文件 问题现象 使用Notebook运行代码，报错： FileNotFoundError: [Error 2] No usable temporary directory found in ['/tmp', '/var/tmp'
TensorFlow在OBS写入TensorBoard到达5GB时停止 问题现象 ModelArts训练作业出现如下报错： Encountered Unknown Error EntityTooLarge Your proposed upload exceeds the maximum
moxing.tensorflow是否包含整个TensorFlow，如何对生成的checkpoint进行本地Fine Tune？ 问题现象 使用MoXing训练模型，“global_step”放在Adam名称范围下，而非MoXing代码中没有Adam名称范围，如图1所示。其中1为
批量服务输入/输出obs目录不存在或者权限不足 问题现象 输入输出目录不存在，报如下错误 "error_code": "ModelArts.3551", "error_msg": "OBS path xxxx does not exist." 当访问目录权限不足时，报如下错误 "error_code":
用户使用torch报错Unexpected error from cudaGetDeviceCount 问题现象 在Notebook执行兼容gpu的脚本时报错不兼容，但是通过nvcc --version排查显示是兼容。 import torch import sys print('A'
训练作业运行失败，出现NCCL报错 问题现象 训练作业的状态“运行失败”，查看训练作业的“日志”，存在NCCL的报错，例如“NCCL timeout”、“RuntimeError: NCCL communicator was aborted on rank 7”、“NCCL WARN
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
