检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
推理关键特性使用 量化 剪枝 分离部署 Prefix Caching multi-step 投机推理 图模式 多模态 Chunked Prefill multi-lora guided-decoding 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM
执行预训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
执行预训练任务 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后，可创建训练作业，在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包，如果直接使用基础镜像进行训练，每次创建训练作业时，训练作业的图1中都需要执行install.sh文件，来安装依赖以及下载完整代码。命令如下：
常见错误原因和解决方法 显存溢出错误 网卡名称错误 父主题： 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.3.909）
准备数据（可选） 此小节为自定义数据集执行过程，如非自定义数据集此小节忽略。 本教程使用到的是LLamaFactory代码包自带数据集。您也可以自行准备数据集，目前支持alpaca格式和sharegpt格式的微调数据集；使用自定义数据集时，请更新代码目录下data/dataset_info
查看和管理注册到CloudMap的微服务实例 查看注册到CloudMap的微服务实例列表 调整微服务实例状态 父主题： 管理Cloud Map中的服务资源
在WiseDBA中新增和管理数据库账号 在WiseDBA中新增数据库账号 在WiseDBA中同步数据库账号 在WiseDBA中下线及还原数据库账号 在WiseDBA中永久删除数据库账号 在WiseDBA中新增数据库账号权限 在WiseDBA中复制数据库账号权限 在WiseDBA中新增数据库账号host
查看依赖服务（声明） 依赖服务声明主要指的是在微服务之间建立的一种明确、显式的依赖关系描述，有助于理解和维护微服务之间的交互和依赖关系，以确保系统的稳定性和可维护性。 查看依赖服务（声明） 进入AppStage运维中心。 在顶部导航栏选择服务。 单击，选择“微服务开发 > 服务发现”。
部署物体检测服务 模型部署 模型部署操作即将模型部署为在线服务，并且提供在线的测试UI与监控能力。完成模型训练后，可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。 在“运行节点”页面中，待服务部署节点的状态变为“等待输入”时，双击“服务部署”进入配置详情页，完成资源的参数配置操作。
部署文本分类服务 模型部署 模型部署操作即将模型部署为在线服务，并且提供在线的测试UI与监控能力。完成模型训练后，可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。 在“运行总览”页面中，待服务部署节点的状态变为“等待输入”，双击“服务部署”节点，进入配置详情页，完成资源的参数配置操作。
创建Workflow数据集节点 功能介绍 通过对ModelArts数据集能力进行封装，实现新版数据集的创建功能。主要用于通过创建数据集对已有数据（已标注/未标注）进行统一管理的场景，后续常见数据集导入节点或者数据集标注节点。 属性总览 您可以使用CreateDatasetStep
总数。 使用流程 图1 使用流程 登录华为云会议管理平台 您可以使用IE11及以上版本、Chrome46及以上版本、FireFox41及以上版本浏览器访问华为云会议管理平台。您可以通过以下两种方式登录。 使用企业管理员账号登录华为云会议管理平台。 企业管理员账号及密码请从华为云会
OpenVSX 插件市场上的插件，单击搜索框下方的标签页可切换搜索平台。 单击右上角的按钮可刷新页面，单击按钮可一键清空搜索框。 插件安装 通过插件市场安装 单击按钮可通过插件市场进行安装。 下载安装华为云平台的插件时，请先登录华为云。 本地插件安装 如果需要安装本地的插件包可以通过单击
设备接收解绑定命令 接口功能 被动接收平台下发的解绑定命令，删除直连设备的配置信息并且释放所有资源。(接收到此命令说明设备已经从平台侧删除。) 接口描述 1 HubService.TOPIC_UNBINDDEVICE; 接口所属类 HubService。 示例 调用该接口需要实现Agent
查看对接参数 前提条件 已联系运营人员获取了对接参数。 操作步骤 以租户管理员角色登录AICC，选择“配置中心 > 系统管理 > 租户信息”，进入租间基本信息页签。 选择“对接参数”项，查看API Fabric标识。 (可选)单击“下载SK”，可下载SK至本地。单击“重置SK”，输入当前用户密码后，可重置SK。
进入云数据库RDS管理控制台，单击名称进入实例详情页面。 图1 RDS控制台 在实例详情页面，单击“登录”。 图2 登录 在实例登录页面输入用户名和密码，单击“测试连接”，显示连接成功后，单击“登录”。 图3 实例登录 进入数据管理服务控制台后，点击“新建数据库”。填写数据库名称及字符集（utf8）后，点击“确认”。
设置租户管理员：为选择的租户指定管理员。 冻结/启用：冻结、启用所选租户。 编辑：编辑维护租户信息。 续租：延长租户租期时间范围。 父主题： 数据生命周期平台操作手册
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
