检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
向表中插入数据报错:duplicate key value violates unique constraint "%s" 问题现象 向表中插入数据报错:duplicate key value violates unique constraint "%s"。 1 2 3 4
推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题: 主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.908)
推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题: 主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.909)
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持
预训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中,具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及选择上传的镜像。 代码目录选择:OBS桶路径下的llm_train/AscendSpeed
预训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中,具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及选择上传的镜像。 代码目录选择:OBS桶路径下的 llm_train/AscendSpeed
从DWS导入数据到ModelArts数据集 ModelArts支持从DWS导入表格数据,用户需要选择对应的DWS集群,并输入需要对应的数据库名、表名以及用户名和密码。所导入表的schema(列名和类型)需要跟数据集相同。DWS的详细功能说明,请参考DWS用户指南。 图1 从DWS导入数据
示例:创建DDP分布式训练(PyTorch+GPU) 本文介绍三种使用训练作业来启动PyTorch DDP训练的方法及对应代码示例。 使用PyTorch预置框架功能,通过mp.spawn命令启动 使用自定义镜像功能 通过torch.distributed.launch命令启动 通过
示例:创建DDP分布式训练(PyTorch+NPU) 本文介绍了使用训练作业的自定义镜像+自定义启动命令来启动PyTorch DDP on Ascend加速卡训练。 前提条件 需要有Ascend加速卡资源池。 创建训练作业 本案例创建训练作业时,需要配置如下参数。 表1 创建训练作业的配置说明
部署模型为在线服务 模型准备完成后,您可以将模型部署为在线服务,对在线服务进行预测和调用。 约束与限制 单个用户最多可创建20个在线服务。 前提条件 数据已完成准备:已在ModelArts中创建状态“正常”可用的模型。 由于在线运行需消耗资源,确保账户未欠费。 部署服务操作需要镜像
修复Standard专属资源池故障节点 Standard专属资源池支持对故障节点进行修复操作,目前提供了替换节点、高可用冗余节点、重置节点和重启节点等方式。华为云技术支持在故障定位和性能诊断时,部分运维操作需要用户授权才可进行,本章节同时也介绍了如何进行授权操作。 故障节点处理方式
云智慧数字化智能运维可观测日志平台系统功能 警管理 仪表盘 日志分析 监控器 管理──数据管理 父主题: 实施步骤
查询SSH密钥详情(废弃) 功能介绍 根据SSH密钥名称查询指定SSH密钥。 当前API已废弃,请使用查询SSH密钥对详细信息。 调试 您可以在API Explorer中调试该接口。 URI GET /v2.1/{project_id}/os-keypairs/{keypair_name
PLAN_TABLE_DATA PLAN_TABLE_DATA系统表存储了用户通过执行EXPLAIN PLAN收集到的计划信息。与PLAN_TABLE视图不同的是PLAN_TABLE_DATA表存储了所有session和user执行EXPLAIN PLAN收集的计划信息。 表1 PLAN_TABLE
创建合规规则包 功能介绍 创建新的合规规则包。 调用方法 请参见如何调用API。 URI POST /v1/resource-manager/domains/{domain_id}/conformance-packs 表1 路径参数 参数 是否必选 参数类型 描述 domain_id
快速卸载 解决方案部署成功后,单击该方案堆栈后的“删除”。 图1 一键卸载 在弹出的删除堆栈确认框中,输入方案的堆栈名称,单击“确定”,即可卸载解决方案。 图2 删除堆栈确认 父主题: 实施步骤
快速部署 本章节主要帮助用户快速部署“基于Blender构建云端渲染服务”解决方案。 表1 参数说明 参数名称 类型 是否必填 参数说明 取值样例 vpc_name String 必填 虚拟私有云名称,该模板使用新建VPC,不支持重名。取值范围:1-64个字符,支持数字、字母、中文
其他连接 更新连接基本信息 查询连接详情 查询连接列表 父主题: API
预定义常量 权限类型 可被授权的类型 可被授权用户组 预定义访问策略 存储类型 恢复选项 元数据复制策略