检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备数据（可选） 此小节为自定义数据集执行过程，如非自定义数据集此小节忽略。 本教程使用到的是LLamaFactory代码包自带数据集。您也可以自行准备数据集，目前支持alpaca格式和sharegpt格式的微调数据集；使用自定义数据集时，请更新代码目录下data/dataset_info
训练精度测试 流程图 训练精度测试流程图如下图所示： 图1 训练精度测试流程图 执行训练任务 进入test-benchmark目录执行训练命令，可以多次执行，按自己实际情况。 benchmark-cli train <cfgs_yaml_file> <model_name> <run_type>
准备镜像环境 准备训练模型适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2
PQgetCancel 功能描述 创建一个数据结构，其中包含取消通过特定数据库连接发出的命令所需的信息。 原型 PGcancel* PQgetCancel(PGconn* conn); 参数 表1 PQgetCancel参数 关键字 参数说明 conn 指向包含连接信息的对象指针。
使用AWQ量化 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel,
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。
使用AWQ量化 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel，W8A16
全量节点和增量节点分别占用2张卡，一共使用4张卡。 配置tools工具根目录环境变量 使用AscendCloud-LLM发布版本进行推理，基于AscendCloud-LLM包的解压路径配置tool工具根目录环境变量： export LLM_TOOLS_PATH=${root_pa
准备数据（可选） 此小节为自定义数据集执行过程，如非自定义数据集此小节忽略。 本教程使用到的是LLamaFactory代码包自带数据集。您也可以自行准备数据集，目前指令微调数据集支持alpaca格式和sharegpt格式的数据集；使用自定义数据集时，请更新代码目录下data/dataset_info
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 Alpaca数据 本教程使用到的训练数据集是Alpaca数据集。Alpaca是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以用来对语言模型
int8_model.save_pretrained(output_path,safe_serialization=False) 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.911）
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
训练日志会在最后的Rank节点打印。 图1 等待模型载入 最后，请参考查看日志和性能章节查看预训练的日志和性能。 父主题： 主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导（6.3.908）
IR为非必填，有默认值。 训练完成后，请参考查看日志和性能章节查看LoRA微调训练的日志和性能。 父主题： Baichuan2-13B模型基于DevServer适配PyTorch NPU训练指导（6.3.904）
SQL_NULL_HENV) SQLFreeHandle(SQL_HANDLE_ENV, henv); return 0; } 父主题： 基于ODBC开发
典型应用场景配置 日志诊断场景 ODBC日志分为unixODBC驱动管理器日志和psqlODBC驱动端日志。前者可以用于追溯应用程序API的执行是否成功，后者是底层实现过程中的一些DFX日志，用来帮助定位问题。 unixODBC日志需要在odbcinst.ini文件中配置： 1 2
通过本地文件导入导出数据 在使用JAVA语言基于GaussDB进行二次开发时，可以使用CopyManager接口，通过流方式，将数据库中的数据导出到本地文件或者将本地文件导入数据库中，文件支持CSV、TEXT等格式。 代码运行的前提条件：在数据库中创建表migration_tab
PQsendQueryPrepared 功能描述 发送一个请求执行带有给出参数的预备语句，不等待结果。 原型 int PQsendQueryPrepared(PGconn* conn, const char* stmtName, int nParams, const char* const*
PQflush 功能描述 尝试将任何排队的输出数据刷新到服务器。 原型 int PQflush(PGconn* conn); 参数 表1 PQflush参数 关键字 参数说明 conn 指向包含连接信息的对象指针。 返回值 int：如果成功（或者如果发送队列为空），则返回0；如果
获取源码包、ODBC包以及依赖库 基于ODBC开发所需的包，依赖库和头文件以及其获取方式如表1所示。 表1 ODBC应用程序开发环境准备 所需资源 获取方式 unixODBC源码包 unixODBC源码包获取参考地址：https://www.unixodbc.org/unixODBC-2
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
