检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户及授权管理 用户管理 授权管理 父主题: IPDCenter基础服务使用指南
如何处理虚拟机Agent离线? 问题描述 Agent已经安装,但处于离线状态,不能正常工作。 解决方法 登录虚拟机Agent离线的弹性云服务器,请参考登录弹性云服务器。 执行如下命令查看安装虚拟机Agent时选择的“授权模式”。 cd /opt/servicestage-agent
如何处理下载SWR软件包失败? 问题描述 创建tomcat应用时,界面显示创建失败。经查后台tomcat日志,原因为下载swr中的软件包时认证失败。手工下载swr中的软件包,报401。 解决方法 把镜像设置为公开即可,私有包会导致因权限问题无法被拉取。 父主题: 软件中心
为什么一定要定义服务契约? 企业级系统规模普遍较大,微服务组件众多,所以对服务间接口进行统一管理是企业的关键需求。微服务引擎通过契约管理满足这一需求。 管理角度:通过契约管理,企业中的接口管理者可以统一定义微服务的契约文件(符合接口描述标准的接口定义文件),从而做到规范并协调多个开发团队的接口开发
完成任务 功能介绍 完成审批任务。 URI POST /console/servicetask/api/localMethod/assessment_trilogy/completeTask 示例接口地址:{域名(有文根需带文根)}/pdmcore/ipdcworkflowservice
设置数据存储 存储是为应用提供存储的组件,支持多种类型的存储,同一个应用组件可以使用任意数量的存储。 容器部署方式部署的组件,支持设置数据存储。 使用场景 表1 存储项使用场景说明 项目 场景 云硬盘存储 EVS目前支持普通I/O、高I/O、超高I/O三种规格。 普通I/O:后端存储由
编辑批量克隆发布单 已经创建但未发布的批量克隆发布单,您可以根据实际业务变化对其进行编辑。 前提条件 批量克隆发布单已创建但未发布。创建批量克隆发布单,请参考创建批量克隆发布单。 编辑批量克隆发布单 登录ServiceStage控制台。 单击“发布管理”,进入“发布管理”列表页面。
日志提示“errorMessage:The specified key does not exist” 问题现象 在用moxing访问OBS路径时,出现如下错误: ERROR:root: stat:404 errorCode:NoSuchKey errorMessage:The specified
使用CodeLab时报错kernel restart 报错是由于CPU满了,建议切换更高规格或使用付费规格的CPU。 图1 切换规格或使用付费规格的CPU 父主题: Notebook实例常见错误
如何打开ModelArts开发环境的Terminal功能? 登录ModelArts管理控制台,选择“开发空间>Notebook”。 创建Notebook实例,实例处于“运行中”,单击“操作”列的“打开”,进入“JupyterLab”开发页面。 选择“Files > New > Terminal
附录:API的Swagger扩展定义 ROMA Connect在Swagger原有定义的基础上,定义了特有的API定义项,即扩展定义,如认证方式、后端服务定义等。本章节主要介绍API使用的扩展定义。 1:x-apigateway-auth-type 含义:基于Swagger的apiKey
upgrade.sh脚本说明 脚本内容 请使用您环境下的实际参数替换脚本中的参数变量。 #!/bin/bash # 项目id project_id='{项目id}' # 应用id application_id='{应用id}' # 组件id component_id='{组件id}
预训练数据处理 训练前需要对数据集进行预处理,转化为.bin和.idx格式文件,以满足训练要求。 Alpaca数据处理说明 数据预处理脚本preprocess_data.py存放在代码包的“llm_train/AscendSpeed/ModelLink/tools/”目录中,脚本具体内容如下
使用AWQ量化 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法:per-group Step1 模型量化 可以在Huggingface
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。
附录:大模型推理常见问题 问题1:在推理预测过程中遇到NPU out of memory。 解决方法:调整推理服务启动时的显存利用率,将--gpu-memory-utilization的值调小。 问题2:在推理预测过程中遇到ValueError:User-specified max_model_len
准备镜像环境 准备训练模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式,使用W8A16的量化不仅可以保证精度在可接受的范围内,同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
附录:大模型推理常见问题 问题1:在推理预测过程中遇到NPU out of memory。 解决方法:调整推理服务启动时的显存利用率,将--gpu-memory-utilization的值调小。 问题2:在推理预测过程中遇到ValueError:User-specified max_model_len
准备镜像环境 准备训练模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest