检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开启，因为性能会有损失。 若要开启图模式，请配置以下4个环境变量，并且启动服务时不要添加enforce-eager参数。 export INFER_MODE=PTA # 开启PTA模式，若不使用图模式，请关闭该环境变量 export PTA_TORCHAIR_DECODE_GEAR_ENABLE=1
"${model_path}","max_tokens": 50,"temperature":0}”，单击“预测”即可看到预测结果。 图9 预测-openai 在线服务的更多内容介绍请参见文档查看服务详情。 Step5 推理性能测试 推理性能测试操作请参见推理性能测试。 父主题： 主流开源大模型基于Standard适配PyTorch
精度校验 迁移之后的精度校验工作是以CPU/GPU环境训练过程作为标杆的，这里的前提是在迁移前，模型已经在CPU/GPU环境达到预期训练结果。在此基础上，迁移过程的精度问题一般包括： Loss曲线与CPU/GPU差异不符合预期。 验证准确度与CPU/GPU差异不符合预期。 在迁移
创建训练作业 功能介绍 创建一个训练作业。 该接口为异步接口，作业状态请通过查询训练作业列表和查询训练作业版本详情接口获取。 URI POST /v1/{project_id}/training-jobs 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id
此时需要使用CUDA Compatibility。在创建训练页面添加以下环境变量： export LD_LIBRARY_PATH=/usr/local/cuda/compat 训练时默认不需要加此环境变量，仅当发现驱动版本不够时才使用此方法。 专属池驱动版本如何升级？ 当专属资源
模型部署的操作。 评估结果说明 根据训练数据类的不同评估结果会包含不同的指标。 离散值评估结果 包含评估指标为召回率（Recall）、精确率（Precision）、准确率（Accuracy）与F1值（F1 Score）。下表为具体说明： 表1 离散值评估结果包含指标说明 参数 说明
使用OBS导入元模型，会用到服务侧的标准镜像，标准镜像里面没有CV2依赖的so的内容。所以ModelArts不支持从对象存储服务（OBS）导入CV2模型包。 处理方法 需要您把CV2包制作为自定义镜像，上传至容器镜像服务（SWR），选择从容器镜像中导入元模型，部署在线服务。如何制作自定义镜像请参考从0-1制作自定义镜像并创建AI应用。
${MA_MASTER_INDEX}.${MA_VJ_NAME}"”。 在创建训练作业页面配置环境变量“ROUTE_PLAN”，取值为“true”，具体操作请参见管理训练容器环境变量。 代码示例 训练作业的启动脚本示例如下。 启动脚本中设置plog生成后存放在“/home/ma-
待任务执行完成后，您可以查看自动分组任务的历史记录，了解任务状态。 查看自动分组结果 在数据集详情页面的“全部”页签中，展开“筛选条件”，将“样本属性”设置为自动分组任务中的“属性名称”，并通过设置样本属性值，筛选出分组结果。 图2 查看自动分组结果 查看自动分组的历史任务 在数
介绍如何进行预训练，包括训练数据处理、超参配置、创建训练任务及性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调，包括训练数据处理、超参配置、创建训练任务及性能查看。 LoRA微调训练 介绍如何进行LoRA微调训练，包括训练数据处理、超参配置、创建训练任务及性能查看。 父主题： 主流开源大模型基于S
sh脚本，自定义环境变量的值，并在脚本的首行中添加 cd /home/ma-user/work/llm_train/AscendSpeed/ModelLink 命令，随后在Notebook中运行该脚本。 其中环境变量详细介绍如下： 表1 数据预处理中的环境变量 环境变量 示例 参数说明
sh脚本，自定义环境变量的值，并在脚本的首行中添加 cd /home/ma-user/work/llm_train/AscendSpeed/ModelLink 命令，随后在Notebook中运行该脚本。 其中环境变量详细介绍如下： 表1 数据预处理中的环境变量 环境变量 示例 参数说明
介绍如何进行预训练，包括训练数据处理、超参配置、创建训练任务及性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调，包括训练数据处理、超参配置、创建训练任务及性能查看。 LoRA微调训练 介绍如何进行LoRA微调训练，包括训练数据处理、超参配置、创建训练任务及性能查看。 父主题： 主流开源大模型基于S
通过命令npu-smi info查询NPU卡为容器中的第几张卡。例如下图查询出两张卡，如果希望使用第一和第二张卡，则“export ASCEND_RT_VISIBLE_DEVICES=0,1”，注意编号不是填4、5。 图2 查询结果 配置环境变量。 export DEFER_DECODE=1
table_diffusion_img2img.py”，其中${diffusers}表示diffusers包的安装路径，可以通过pip进行查看。 # shell pip show diffusers 修改代码依赖 新建并进入/home_host/work/pipeline目录。 mkdir
需要10+小时。 使用量化模型 使用量化模型需要在NPU的机器上运行。 启动vLLM前，请开启图模式（参考步骤六 启动推理服务中的配置环境变量），启动服务的命令和启动非量化模型一致。 父主题： 推理模型量化
需要10+小时。 使用量化模型 使用量化模型需要在NPU的机器上运行。 启动vLLM前，请开启图模式（参考步骤六 启动推理服务中的配置环境变量），启动服务的命令和启动非量化模型一致。 父主题： 推理模型量化
pytorch_2.0.0-cuda_11.7-py_3.9.11-ubuntu_20.04-x86_64 “train.py”示例 表4 环境变量说明 变量名称 说明 示例 ENV_AG_MODEL_DIR 模型存放路径，AI Gallery的模型仓库地址，包含模型仓库的所有文件。 “/home/ma-user/
String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。 表4 Apps 参数 是否必选 参数类型 描述 app_id 否 String APP的编号，可通过查询APP列表获取。 响应参数 状态码： 200
region名称，如果不填会默认使用REGION_NAME环境变量的值。 -pi / --project-id String 否 项目ID，如果不填会默认使用对应region的值，或者使用PROJECT_ID环境变量。 -P / --profile String 否 鉴权配置项，默认是DEFAULT。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
