检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
token长度 --max-num-batched-tokens：最多会使用多少token，必须大于或等于--max-model-len，推荐使用4096或8192 --tensor-parallel-size：模型并行数量 --served-model-name：OpenAI服
认选择，或进行自定义。创建完成后，单击“远程登录”，后续安装Docker等操作均在该ECS上进行。 注意：CPU架构必须选择鲲鹏计算，镜像推荐选择EulerOS。 图1 购买ECS 创建镜像组织。 在SWR服务页面创建镜像组织。 图2 创建镜像组织 安装Docker。 检查docker是否安装。
co/meta-llama/Llama-2-70b-hf https://huggingface.co/meta-llama/Llama-2-70b-chat-hf (推荐) 7 llama3-8b √ √ √ √ √ https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct
kv2”。 方式二：将FP8权重转换为BF16权重 介绍如何将DeepSeek官方发布的FP8权重转换为BF16的权重。用于生产环境的业务推荐使用此方式。具体操作步骤如下。 下载FP8的权重，下载地址如下。建议在每台Server机器上创建${path-to-file}/deeps
像的制作。 购买ECS服务器的具体操作请参考购买并登录Linux弹性云服务器。“CPU架构”选择“x86计算”，“镜像”选择“公共镜像”，推荐使用Ubuntu18.04的镜像。 Step4 制作自定义镜像 目标：构建安装好如下软件的容器镜像，并使用ModelArts训练服务运行。
像的制作。 购买ECS服务器的具体操作请参考购买并登录Linux弹性云服务器。“CPU架构”选择“x86计算”，“镜像”选择“公共镜像”，推荐使用Ubuntu18.04的镜像。 Step4 制作自定义镜像 目标：构建安装好如下软件的容器镜像，并使用ModelArts训练服务运行。
会创建一个控制平面节点。资源池创建后，控制节点高可用的开启或关闭状态不可修改。 控制节点分布：可以选择随机分配，也可以指定可用区。控制节点推荐尽可能随机分布在不同可用区以提高容灾能力。 随机分配：系统会随机分配控制节点的可用区，尽可能将控制节点随机分布在不同可用区以提高容灾能力
本文档主要介绍如何利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，完成SDXL的LoRA微调训练。 资源规格要求 推荐使用“西南-贵阳一”Region上的Lite Server资源和Ascend Snt9B。 表1 环境要求 名称 版本 CANN cann_8
由于模型中LoRA微调训练存在已知的精度问题，因此不支持TP(tensor model parallel size)张量模型并行策略，推荐使用PP(pipeline model parallel size)流水线模型并行策略，具体详细参数配置如表2所示。 步骤三 启动训练脚本
由于模型中LoRA微调训练存在已知的精度问题，因此不支持TP(tensor model parallel size)张量模型并行策略，推荐使用PP(pipeline model parallel size)流水线模型并行策略，具体详细参数配置如表2所示。 步骤三 启动训练脚本
0.0和8080不可更改。 高阶参数说明： --enable-prefix-caching：如果prompt的公共前缀较长或者多轮对话场景下推荐使用prefix-caching特性。在推理服务启动脚本中添加此参数表示使用，不添加表示不使用。 --quantization：推理量化参
0.0和8080不可更改。 高阶参数说明： --enable-prefix-caching：如果prompt的公共前缀较长或者多轮对话场景下推荐使用prefix-caching特性。在推理服务启动脚本中添加此参数表示使用，不添加表示不使用。 --quantization：推理量化参
本文档主要介绍如何利用ModelArts Lite Server，使用PyTorch_npu+华为自研Ascend Snt9B硬件，完成LLaVA模型训练。 资源规格要求 推荐使用“西南-贵阳一”Region上的Server资源和Ascend Snt9B。训练至少需要单机8卡，推理需要单机单卡。 表1 环境要求 名称
co/meta-llama/Llama-2-70b-hf https://huggingface.co/meta-llama/Llama-2-70b-chat-hf (推荐) 7 llama3-8b √ √ √ √ √ https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct
co/meta-llama/Llama-2-70b-hf https://huggingface.co/meta-llama/Llama-2-70b-chat-hf (推荐) 4 llama3 llama3-8b https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct
由于模型中LoRA微调训练存在已知的精度问题，因此不支持TP(tensor model parallel size)张量模型并行策略，推荐使用PP(pipeline model parallel size)流水线模型并行策略，具体详细参数配置如表2所示。 Step3 启动训练脚本
由于模型中LoRA微调训练存在已知的精度问题，因此不支持TP(tensor model parallel size)张量模型并行策略，推荐使用PP(pipeline model parallel size)流水线模型并行策略，具体详细参数配置如表2所示。 步骤三 启动训练脚本
议。 图6 环境变量分析 表2 当前支持的环境变量 环境变量名称 释义 ASCEND_GLOBAL_LOG_LEVEL plog日志级别，推荐设置为2（warning级别），低级别日志等级会导致cpu侧性能问题。 HCCL_RDMA_TC HCCL通信相关环境变量，通常无需设置该
本文档主要介绍如何利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，完成SDXL Finetune训练。 资源规格要求 推荐使用“西南-贵阳一”Region上的Lite Server资源和Ascend Snt9B。 表1 环境要求 名称 版本 CANN cann_8
本文档主要介绍如何利用ModelArts Lite Server，使用PyTorch_npu+华为自研Ascend Snt9B硬件，完成LLaVA模型推理。 资源规格要求 推荐使用“西南-贵阳一”Region上的Lite Server资源和Ascend Snt9B。推理需要单机单卡。 表1 环境要求 名称 版本 CANN
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
