检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置ModelArts基本使用权限 场景描述 Step1 创建用户组并加入用户 Step2 为用户配置云服务使用权限 Step3 为用户配置ModelArts的委托访问授权 Step4 测试用户权限 父主题: 典型场景配置实践
FAQ 使用ModelArts时提示“权限不足”,如何解决? 父主题: Standard权限管理
主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导(6.3.907) 场景介绍 准备工作 指令监督微调训练任务 查看日志和性能 训练脚本说明 附录:指令微调训练常见问题 父主题: LLM大语言模型训练推理
主流开源大模型基于DevServer适配PyTorch NPU推理指导(6.3.907) 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录:基于vLLM不同模型推理支持最小卡数和最大序列说明 附录:大模型推理常见问题 父主题: LLM大语言模型训练推理
主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导(6.3.907) 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.907) 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录:基于vLLM不同模型推理支持最小卡数和最大序列说明
准备工作 准备环境 准备代码 准备镜像 父主题: 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导(6.3.909)
部署推理服务 非分离部署推理服务 分离部署推理服务 父主题: 主流开源大模型基于DevServer适配PyTorch NPU推理指导(6.3.908)
主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.908) 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录:基于vLLM不同模型推理支持最小卡数和最大序列说明
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题: 主流开源大模型基于DevServer适配PyTorch NPU推理指导(6.3.909)
主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.909) 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录:基于vLLM不同模型推理支持最小卡数和最大序列说明
主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.908) 场景介绍 准备工作 执行预训练任务 执行SFT全参微调训练任务 执行LoRA微调训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
准备工作 准备环境 准备代码 准备镜像环境 准备数据(可选) 父主题: 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导(6.3.908)
训练脚本说明 Yaml配置文件参数配置说明 模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 录制Profiling 父主题: 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导(6.3
代码运行常见错误 Notebook无法执行代码,如何处理? 运行训练代码,出现dead kernel,并导致实例崩溃 如何解决训练过程中出现的cudaCheckError错误? 开发环境提示空间不足,如何解决? 如何处理使用opencv.imshow造成的内核崩溃? 使用Wind
在线服务 部署在线服务时,自定义预测脚本python依赖包出现冲突,导致运行出错 在线服务预测时,如何提高预测速度? 调整模型后,部署新版本AI应用能否保持原API接口不变? 在线服务的API接口组成规则是什么? 在线服务运行中但是预测失败时,如何排查报错是不是模型原因导致的 在
VS Code使用技巧 安装远端插件时不稳定,需尝试多次 Notebook实例重新启动后,需要删除本地known_hosts才能连接 使用VS Code调试代码时不能进入源码 使用VS Code提交代码时弹出对话框提示用户名和用户邮箱配置错误 实例重新启动后,Notebook内安装的插件丢失
报错“The VS Code Server failed to start”如何解决? 问题现象 解决方法 检查VS Code版本是否为1.78.2或更高版本,如果是,请查看Remote-SSH版本,如果Remote-SSH版本低于v0.76.1,请升级Remote-SSH。 打开命令面板(Windows:
产品定位 使用场景 文档链接 ModelArts Standard 面向AI开发者的一站式开发平台, 提供了简洁易用的管理控制台,包含自动学习、数据管理、开发环境、模型训练、模型管理、部署上线等端到端的AI开发工具链,实现AI全流程生命周期管理。 面向有AI开发平台诉求的用户。
WorkerTask 参数 参数类型 描述 create_time Long 团队标注成员任务创建时间。 dataset_id String 成员任务关联的数据集ID。 dataset_type Integer 团队标注成员任务标注类型。 email String 团队标注成员邮箱。 email_status