检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装AD域 修改计算机名和服务器静态IP 修改服务IP地址,并且将DNS地址指向本机,然后修改计算机名为server。安装AD域服务之后,机器名称会自动变成“主机名+域名”的形式,例如server.huawei.com。 安装AD域 在命令行下输入dcpromo.exe ,安装A
GLOBAL_STATEMENT_COMPLEX_RUNTIME 显示当前用户在各个节点上正在执行的作业的负载管理记录,如表1所示。 表1 GLOBAL_STATEMENT_COMPLEX_RUNTIME的字段 名称 类型 描述 datid oid 连接后端的数据OID。 dbname
GLOBAL_SESSION_SQL_MEMORY GLOBAL_SESSION_SQL_MEMORY视图显示当前用户在各个节点上正在执行的语句的内存使用量,如表1所示。 表1 GLOBAL_SESSION_SQL_MEMORY字段 名称 类型 描述 node_name text
部署推理服务 本章节介绍如何使用vLLM 0.4.2框架部署并启动推理服务。 前提条件 已准备好DevServer环境,具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9b资源。 安装过程需要连接互联网git clone,确保容器可以访问公网。
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬
部署推理服务 非分离部署推理服务 分离部署推理服务 父主题: 主流开源大模型基于DevServer适配PyTorch NPU推理指导(6.3.908)
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题: 主流开源大模型基于Server适配PyTorch NPU推理指导(6.3.909)
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的预训练和全量微调方案。训练框架使用的是ModelLink。 本方案目前仅适用于部分企业客户,完成
推理场景介绍 方案概览 本方案介绍了在ModelArts Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬
部署推理服务 本章节介绍如何使用vLLM 0.3.2框架部署并启动推理服务。 前提条件 已准备好DevServer环境,具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9b资源。 确保容器可以访问公网。 Step1 检查环境 SSH登录
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Lite Server上的预训练和全量微调方案。训练框架使用的是ModelLink。 本方案目前仅适用于部分企业客户,完成本方案
在AstroZero对象中删除字段后重新创建时,引用的地方报错 问题描述 目前页面引用、流程引用或触发器应用中,使用的对象字段,均通过字段ID引用的。如果删除字段并重建同名字段,其字段ID会发生变化。对于AstroZero来说是两个不同的字段,因此导致引用出错。 解决方法 打开并
场景介绍 方案概览 本文档利用训练框架LlamaFactory+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的微调方案,包括SFT全参微调、LoRA微调、DPO训练方案。 DPO(Direct Preference
场景介绍 方案概览 本文档利用训练框架LlamaFactory+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的不同训练阶段方案,包括指令监督微调、DPO偏好训练、RM奖励模型训练、PPO强化训练方案。 DPO(Direct
是否必选 参数类型 描述 project_id 是 String 项目ID 表2 Query参数 参数 是否必选 参数类型 描述 enterprise_project_id 否 String 企业项目ID,查询所有企业项目时填写:all_granted_eps 请求参数 表3 请求Header参数
ServiceStage.StatelessApplication ServiceStage.StatelessApplication元素是对ServiceStage上原有功能的兼容。该元素在应用编排服务中即将下线,推荐您使用CCE服务的相关资源进行创建,或者使用后续即将上线的AOS
配置AP接入Internet并注册上线 本案例属于单台AP的组网场景,推荐使用CloudCampus APP完成AP接入Internet并在云管理平台上注册上线,详细配置步骤如下。 连接AP上电。 登录CloudCampus APP。 打开CloudCampus APP,单击“我
查询任务问题数量(API名称:queryTaskIssueCount) 功能介绍 查询任务问题数量。 相关接口 接口名称 调用说明 获取Token 调用该接口获取到Token,再调用其他接口时,需要在请求消息头中添加“Authorization”,其值即为Token。 URL 请求方式
查询问题类别(API名称:queryIssueTypeById) 功能介绍 根据问题ID查询问题类别。 相关接口 接口名称 调用说明 获取Token 调用该接口获取到Token,再调用其他接口时,需要在请求消息头中添加“Authorization”,其值即为Token。 URL 请求方式