检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通用功能卡片 在角色桌面模板中，系统管理员和合作伙伴管理员可以在通用功能卡片中添加应用、管理应用。 在自定义桌面中，仅当前用户可添加、管理卡片中的应用。 添加通用功能卡片 进入IPDCenter基础服务登录页面，输入账号和密码，单击“登录”。 在角色桌面首页，单击自定义桌面页签上的，进入编辑状态。
重新安装Metrics Server 安装Metrics Server失败后，可以执行本操作重新安装。 使用限制 重新安装Metrics Server插件过程中由于无法正常进行弹性伸缩，如果操作过程中流量异常可能会导致组件服务异常。 前提条件 待操作Metrics Server插件已经安装，请参考安装Metrics
报错“ssh: connect to host xxx.pem port xxxxx: Connection refused”如何解决？ 问题现象 原因分析 实例处于非运行状态。 解决方法 请前往ModelArts控制台查看实例是否处于运行状态，如果实例已停止，请执行启动操作，如
GPU裸金属服务器更换NVIDIA驱动后执行nvidia-smi提示Failed to initialize NVML 问题现象 华为云裸金属服务器，NVIDIA驱动卸载后重新安装。 （1）已卸载原有版本NVIDIA驱动和CUDA版本，且已安装新版本的NVIDIA驱动和CUDA版本
配置应用网关路由 为应用网关配置路由规则，当应用网关收到访问流量时，会根据已配置的路由规则判断是否匹配并做相应的处理。 操作步骤 登录微服务引擎控制台。 为准备资源时创建的应用网关配置路由，请参考创建路由。 参考下表填写相关参数，其余参数保持默认。 参数名称 参数说明 路由名称
新增自定义版本活动 开发中心已预置了固定的版本活动，同时支持新增其他版本活动，并为版本活动关联已发布的版本级工具链（已配置版本活动相关接口页面信息）。 前提条件 已获取组织管理员角色权限，权限申请方法请参见申请权限。 新增版本活动 在开发中心首页右上角选择“系统配置 > 版本活动管理”。
使用DCGM监控Lite Server资源 场景描述 本文主要介绍如何在Lite Server上配置DCGM监控，用于监控Lite Server上的GPU资源。 DCGM是用于管理和监控基于Linux系统的NVIDIA GPU大规模集群的一体化工具，提供多种能力，包括主动健康监控
日志提示“pandas.errors.ParserError: Error tokenizing data. C error: Expected .* fields” 问题现象 使用pandas读取csv数据表时，日志报出如下错误导致训练作业失败： pandas.errors.ParserError:
使用可视化分析运行日志 可视化提供对已完成结构化配置后的日志字段进行SQL查询与分析的功能。对原始日志结构化后，等待1~2分钟左右即可对结构化后的日志进行SQL查询与分析。 前提条件 日志流已完成结构化配置。 组件已关联LTS日志组，请参考关联LTS日志组。 使用可视化分析运行日志
在SLB中创建灰度服务 本文介绍如何创建灰度服务。 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。 创建灰度服务 进入AppStage运维中心。 在顶部导航栏选择服务。 单击，选择“微服务开发 > 负载均衡”。 选择左侧导航栏的“灰度管理
在SLB中创建资源组 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。 在SLB中创建资源组 进入AppStage运维中心。 在顶部导航栏选择服务。 单击，选择“微服务开发 > 负载均衡”。 选择左侧导航栏的“资源管理 > 资源组”。
已有镜像迁移至ModelArts用于训练模型 场景描述 本地已有镜像，需要做云上适配，用于ModelArts模型训练。 操作步骤 参考如下Dockerfile，修改已有镜像，使其符合模型训练的自定义镜像规范。 FROM {已有镜像} USER root # 如果已存在 gid
JupyterLab常用功能介绍 JupyterLab视频介绍 JupyterLab主页介绍 下面介绍如何从运行中的Notebook实例打开JupyterLab。 登录ModelArts管理控制台，在左侧菜单栏中选择“开发空间 > Notebook”，进入Notebook页面。
在SLB中创建和管理负载均衡实例 在SLB中创建负载均衡实例 在SLB中配置SLB节点信息 在SLB中配置nginx.conf 在SLB中配置url重写/重定向 在SLB中配置内网段 在SLB中进行降级配置 在SLB中配置黑白名单 在SLB中进行限流配置 在SLB中配置负载均衡其他配置项
创建Workflow模型注册节点 功能介绍 通过对ModelArts模型管理的能力进行封装，实现将训练后的结果注册到模型管理中，便于后续服务部署、更新等步骤的执行。主要应用场景如下： 注册ModelArts训练作业中训练完成的模型。 注册自定义镜像中的模型。 属性总览 您可以使用
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。
准备环境 本文档中的模型运行环境是ModelArts Lite Server。请参考本文档要求准备资源环境。 资源规格要求 计算规格：不同模型训练推荐的NPU卡数请参见表2。 硬盘空间：至少200GB。 Ascend资源规格： Ascend: 1*ascend-snt9b表示Ascend单卡。
准备代码 本教程中用到的训练推理代码和如下表所示，请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表1 支持的模型列表所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6
如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 模型软件包结构说明 AscendCloud-6.5.901代码包中AscendCloud-LLM代码包结构介绍如下，训练脚本以分类的方式集中在scripts_modellink文件夹中： |——AscendCloud-LLM
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
