检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
published：已发布 failed：发布失败 building： 构建镜像中 building_failed： 构建失败 description 否 String 描述信息，可支持模糊匹配。 offset 否 Integer 指定要查询页的索引，默认为“0”。 limit 否
--block-size：PagedAttention的block大小，推荐设置为128。 --host=${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。 --port：服务部署的端口。 --gpu-memory-utilization：NPU使用的显存
训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed; sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_pretrain_13b.sh 选择用户自己的专属资源池，以及规格与节点数。防止训练
训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed; sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_sft_13b.sh 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现
in "MindSpore" conda env by using pip. RUN source /home/ma-user/anaconda3/bin/activate MindSpore && \ pip install https://ms-release.obs.cn-north-4
表10 AIProject定义结构说明 参数 是否必选 参数类型 描述 id 否 String AI项目ID，预留字段。 响应消息 响应参数如表11所示。 表11 响应参数 参数 参数类型 说明 id String 实例ID。 name String 实例名称。 description
镜像所属组织，可以在SWR控制台“组织管理”创建和查看。 tag String 镜像tag，长度限制64个字符， 支持大小写字母、数字、中划线、下划线和点。 description String 该镜像所对应的描述信息，长度限制512个字符。 status String 镜像状态。枚举值如下： INIT：初始化。
/home/ma-user/modelarts/user-job-dir/AscendSpeed; sh ./scripts/install.sh; sh ./scripts/obs_pipeline.sh 如果镜像使用ECS中构建新镜像构建的新镜像时，训练作业启动命令中输入： cd /hom
/home/ma-user/modelarts/user-job-dir/AscendSpeed; sh ./scripts/install.sh; sh ./scripts/obs_pipeline.sh 如果镜像使用ECS中构建新镜像构建的新镜像时，训练作业启动命令中输入： cd /hom
com/casper-hansen/AutoAWQ.git AutoAWQ-0.2.5 cd ./AutoAWQ-0.2.5 export PYPI_BUILD=1 pip install -e . 需要编辑“examples/quantize.py”文件，针对NPU进行如下适配工作，以支持在NPU上进行量化。
否有所提升。 # shell cd /home_host/work benchmark --modelFile=diffusers/scripts/mindir_models/text_encoder.mindir --device=Ascend 上述命令中：modelFile指
from transformers import pipeline import os class EndpointHandler: def __init__(self, path=""): # Use a pipeline as a high-level helper
训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed; sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_lora_13b.sh 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出
5、训练过程中报"ModuleNotFoundError: No module named 'multipart'"关键字异常，可更新python-multipart为0.0.12版本，具体请参考问题5：No module named 'multipart'"报错： 父主题： 主流开源大模型基于Lite Server适配LlamaFactory
如果用到CCE，版本要求是CCE Turbo v1.25及以上 软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.906-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM AIGC代码包：AscendCloud-AIGC 算子依赖包：AscendCloud-OPP
clear_hard_property 否 Boolean 是否清空难例属性。可选值如下： true：清空难例属性（默认值） false：不清空难例属性 description 否 String 版本描述信息，默认为空，长度为0-256位，不能包含!<>=&"'特殊字符。 export_images 否 Boolean
type 否 String 参数的类型，枚举值如下: str：字符串 int：整型 bool：布尔类型 float：浮点型 description 否 String Workflow工作流配置参数的描述。 example 否 Object Workflow工作流配置参数的样例。
动训练前需修改Yaml配置文件，Yaml配置文件在代码目录下的{work_dir}/llm_train/AscendFactory/scripts_llamafactory/demo.yaml。修改详细步骤如下所示。 选择训练阶段类型。 指令监督微调，复制tune_yaml样例模板内容覆盖demo
--block-size：PagedAttention的block大小，推荐设置为128。 --host=${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。 --port：服务部署的端口。 --gpu-memory-utilization：NPU使用的显存
团队标注任务ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 dataset_id 否 String 数据集ID。 description 否 String 团队标注任务描述，长度为0-256位，不能包含^!<>=&"'特殊字符。 task_id 否 String 团队标注任务ID。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
