检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
推理启动脚本run_vllm.sh制作请参见•创建推理脚本文件run_vllm.sh。 SSL证书制作包含cert.pem和key.pem，需自行生成。生成方式请参见•通过openssl创建SSLpem证书。 图1 准备模型文件和权重文件 创建推理脚本文件run_vllm.sh run_vllm
包含了本教程中使用到的模型训练代码、推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 AscendSpeed是用于模型并行计算的框架，其中包含了许多模型的输入处理方法。 获取路径：Support-E 请联系您所在企业的华为方技术支持下载获取。 表2 支持的模型类型和权重获取地址
“精准型”：会额外使用未标注的样本做半监督训练，使得模型精度更高。 计算节点规格 即智能标注任务使用的资源规格。 说明： 智能标注创建时免费，但OBS存储会按需收费，请参考计费详情。为保证您的资源不浪费，标注作业与后续任务完成后，请及时清理您的OBS桶。 计算节点个数 默认为1，表示单机模式。目前仅支持此参数值。
VS Code连接开发环境失败时的排查方法 VS Code连接开发环境失败时，请参考以下步骤进行基础排查。 网络链路检查 在ModelArts控制台查看Notebook实例状态是否正常，确保实例无问题。 在VS Code Terminal里执行如下命令检测SSH命令是否可用； ssh
查询资源规格列表 功能介绍 查询资源规格列表。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/resourceflavors 表1 路径参数
像已经不能满足用户需求。ModelArts提供自定义镜像功能支持用户自定义运行引擎。 ModelArts底层采用容器技术，自定义镜像指的是用户自行制作容器镜像并在ModelArts上运行。自定义镜像功能支持自由文本形式的命令行参数和环境变量，灵活性比较高，便于支持任意计算引擎的作业启动需求。
基本信息的参数描述 参数名称 说明 “名称” Notebook的名称。系统会自动生成一个名称，您可以根据业务需求重新命名，命名规则如下：只能包含数字、大小写字母、下划线和中划线，长度不能超过128位且不能为空。 “描述” 对Notebook的简要描述。 “自动停止” 默认开启，且默
权重词表文件目录，如Qwen2-7B |──saves/qwen2-7b/sft_lora/ # 训练完成生成目录Qwen2-7B，自动生成 上传代码和权重文件到工作环境 使用root用户以SSH的方式登录Server。 将AscendCloud代码包AscendCloud-xxx-xxx
以满足算子和整网的性能要求。在推理场景下使用，可以对于模型的图和算子运行内置的知识库进行自动优化，以提升模型的运行效率。 自动高性能算子生成工具AKG AKG（Auto Kernel Generator）对深度神经网络中的算子进行优化，并提供特定模式下的算子自动融合功能。提升在昇腾硬件后端上运行网络的性能。
日志是否有明显的Error信息，如果有则表示训练失败，请根据日志提示定位原因并解决。 在训练详情页左下方单击训练输出路径，如图4所示，跳转到OBS目录，查看是否存在model文件夹，且model文件夹中是否有生成训练模型。如果未生成model文件夹或者训练模型，可能是训练输入数据
常见问题 模型转换失败怎么办？ 常见的模型转换失败原因可以通过查询转换失败错误码来确认具体导失败的原因。Stable Diffusion新推出的模型在转换中可能会遇到算子不支持的问题，您可以到华为云管理页面上提交工单来寻求帮助。 图片大Shape性能劣化严重怎么办？ 在昇腾设备上
g）、成功（Success）和失败（Failed）”。分析中的任务根据性能诊断数据量大小预计将在1~10分钟内完成；成功的任务可单击Report列的View链接查看详细的诊断报告，如下图所示，失败的任务可将鼠标放到Failed字段上，将弹出具体的失败原因。诊断报告详细介绍请查看查看诊断报告。
推理启动脚本run_vllm.sh制作请参见下文创建推理脚本文件run_vllm.sh的介绍。 SSL证书制作包含cert.pem和key.pem，需自行生成。生成方式请参见•通过openssl创建SSLpem证书。 图1 准备模型文件和权重文件 创建推理脚本文件run_vllm.sh run_vllm
部署上线失败 出现此问题，一般是因为后台服务故障导致的，建议稍等片刻，然后重新部署在线服务。如果重试超过3次仍无法解决，请获取如下信息，并联系华为云技术支持协助解决故障。 获取服务ID。 进入“部署上线>在线服务”页面，在服务列表中找到自动学习任务中部署的在线服务，自动学习部署的
而忽略其他样本。这可以用于控制训练过程的规模和计算需求 overwrite_cache true 用于指定是否覆盖缓存。如果设置为"overwrite_cache"，则在训练过程中覆盖缓存。这通常在数据集发生变化，或者需要重新生成缓存时使用 preprocessing_num_workers
NPU的Finetune训练指导（6.3.905） Stable Diffusion（简称SD）是一种基于扩散过程的图像生成模型，应用于文生图场景，能够帮助用户生成图像。SDXL Finetune是指在已经训练好的SDXL模型基础上，使用新的数据集进行微调（fine-tuning）以优化模型性能的过程。
在ModelArts中训练好后的模型如何获取？ 使用自动学习产生的模型只能在ModelArts上部署上线，无法下载至本地使用。 使用自定义算法或者订阅算法训练生成的模型，会存储至用户指定的OBS路径中，供用户下载。 父主题： Standard模型训练
Controlnet训练 使用文本提示词可以生成一副精美的画作，然而无论再怎么精细地使用提示词来指导模型，也无法描述清楚人物四肢的角度、背景中物体的位置、光线照射的角度，使用Controlnet可以通过图像特征来为扩散模型的生成过程提供更加精细控制的方式。 将Controlnet
训练、自动化模型生成及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期AI工作流。 “一站式”是指AI开发的各个环节，包括数据处理、算法开发、模型训练、模型部署都可以在ModelArts上完成。从技术上看，ModelArts底层支持各种异构计算资源，开发者可以根
训练迁移快速入门案例 本篇指导是迁移的总体思路介绍，便于用户对迁移过程有一个整体的认识。如果您希望通过具体案例直接实操，请参考《主流开源大模型基于DevServer适配PyTorch NPU训练指导》。该案例以ChatGLM-6B为例，介绍如何将模型迁移至昇腾设备上训练、模型精度对齐以及性能调优。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
