检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
qwen2-72B、llama2-70B）等sft训练完成后多线程退出时报“torch.distributed.DistStoreError: Socket Timeout”时请参考问题4：Error waiting on exit barrier错误 4、需要开启profiling功能进行性能数据采集和解析请参考录制
True表示关闭重计算功能。 include_tokens_per_second include_num_input_tokens_seen true 用于在训练过程中包含每秒处理的tokens和已经看到的输入tokens，方便计算性能。
如果使用了量化功能，则使用量化章节转换后的权重。如果使用的是训练后模型转换为HuggingFace格式的地址，还需要有Tokenizer原始文件。 --max-num-seqs：最大同时处理的请求数，超过后在等待池等候处理。
创建训练作业 功能介绍 创建一个训练作业。 该接口为异步接口，作业状态请通过查询训练作业列表和查询训练作业版本详情接口获取。 URI POST /v1/{project_id}/training-jobs 参数说明如表1所示。
使用AWQ量化工具转换权重 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化。 量化方法：W4A16
不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。 获取代码并上传 上传推理代码AscendCloud-CV-6.3.910-xxx.zip到宿主机的工作目录中，包获取路径请参见表2。
output_dir="/path/to/my/models/cogvideox-sft # 模型输出路径 修改后，执行train_text_to_video_sft.sh脚本 bash train_text_to_video_sft.sh 以上微调文档提示来自官方文档，有关可用微调脚本参数及其功能的全面文档
获取软件和镜像 表1 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-3rdAIGC-6.3.905-xxx.zip 文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。
W4A16量化 大模型推理中，模型权重数据类型（weight），推理计算时的数据类型（activation）和kvcache一般使用半精度浮点FP16或BF16。量化指将高比特的浮点转换为更低比特的数据类型的过程。例如int4、int8等。 模型量化分为weight-only量化，
在创建Notebook时，默认会开启自动停止功能，在指定时间内停止运行Notebook，避免资源浪费。 只有处于“运行中”状态的Notebook，才可以执行打开、停止操作。 一个账户最多创建10个Notebook。 操作步骤如下： 注册镜像。
断点续训：训练过程中保存的某个权重，可详见断点续训和故障快恢说明 train_auto_resume false 【可选】是否开启【故障快恢】功能，【true、false】默认false不开启，当训练中断时重启任务会从最新生成权重文件处继续训练。
True表示关闭重计算功能。 include_tokens_per_second include_num_input_tokens_seen true 用于在训练过程中包含每秒处理的tokens和已经看到的输入tokens，方便计算性能。
获取软件和镜像 表1 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.912软件包中的AscendCloud-AIGC-6.3.912-xxx.zip 文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。
查询服务详情 查询当前服务对象的详细信息。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式1：根据部署在线服务生成的服务对象进行服务详情查询 1 2 3 4 5 6 7 from
计费样例 计费场景一 某用户于2023/03/18 15:30:00使用一个按需计费的公共资源池进行训练，规格配置如下： 规格：CPU: 8 核 32GB (modelarts.vm.cpu.8ud) 计算节点个数：1个 用了一段时间后，于2023/03/20 10:30:00停止训练作业
create_dataset(session,dataset_name=None, data_type=None, data_sources=None, work_path=None, **kwargs) 推荐使用根据数据类型创建数据集，根据标注类型创建数据集的功能将会下线。
图1 打开Notebook实例 通过功能，上传Dockerfile文件和模型包文件到Notebook中，默认工作目录/home/ma-user/work/。 Dockerfile文件的具体内容请参见附录1：Dockerfile模板。
要启动训练，请运行以下脚本： export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True bash finetune_lora.sh 注：以上微调文档提示来自官方文档，有关可用LoRA微调脚本参数及其功能的全面文档，您可以参考官方MiniCPM-V
GPT2 GPT2（Generative Pre-trained Transformer 2），是OpenAI组织在2018年于GPT模型的基础上发布的新预训练模型，是一个基于Transformer且非常庞大的语言模型。
Lite Server算力资源和镜像版本配套关系 Lite Server提供多种NPU、GPU镜像，您可在购买前了解当前支持的镜像及对应详情。 NPU Snt9裸金属服务器支持的镜像详情 镜像名称：ModelArts-Euler2.8_Aarch64_Snt9_C78 表1 镜像详情
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
