检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
由于用户本地开发的代码需要上传至ModelArts后台，训练代码中涉及到依赖文件的路径时，用户设置有误的场景较多。因此推荐通用的解决方案：使用os接口得到依赖文件的绝对路径，避免报错。 以下示例展示如何通过os接口获得其他文件夹下的依赖文件路径。
从目录中（本地或者是url）中导入序列化的模型 # 3. 使用导入的模型权重覆盖所有初始化的权重 # 4.
tools：描述可用的外部工具或功能的信息，这些工具可能被模型用来执行某些任务或获取更多信息。
参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件上传至步骤2创建的文件夹目录下。
参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件上传至步骤2创建的文件夹目录下。
使用tensorRT量化工具进行模型量化。 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。
配置本地IDE（Pycharm或者VSCode）联接云上环境调试请参考使用本地IDE开发模型。 父主题： 业务代码问题
（可选）本地服务器安装ModelArts SDK 介绍如何在本地安装ModelArts SDK。 （可选）Session鉴权 Session模块的主要作用是实现与公有云资源的鉴权，并初始化ModelArts SDK Client、OBS Client。
查看Personal Access Token步骤如下： 登录Github，打开设置页面。 单击“Developer settings”。 单击“Personal access tokens > Generate new token”。 验证登录账号。
配置本地IDE（Pycharm或者VSCode）联接云上环境调试请参考使用本地IDE（VS Code）开发模型。 父主题： 云上迁移适配故障
图3 司乘安全算法 将用户本地开发完成的模型，使用自定义镜像构建成ModelArts Standard推理平台可以用的模型。具体操作请参考从0-1制作自定义镜像并创建模型。 在ModelArts管理控制台，使用创建好的模型部署为在线服务。
配置本地IDE（Pycharm或者VSCode）联接云上环境调试请参考使用本地IDE开发模型。 父主题： 业务代码问题
配置本地IDE（Pycharm或者VSCode）联接云上环境调试请参考使用本地IDE开发模型。 父主题： 云上迁移适配故障
父主题： VS Code连接开发环境失败故障处理
解决方法 下载并安装VS Code（Windows用户请单击“Win”，其他用户请单击“其他”下载），安装完成后单击“刷新”完成连接。 父主题： VS Code连接开发环境失败故障处理
tools：描述可用的外部工具或功能的信息，这些工具可能被模型用来执行某些任务或获取更多信息。
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.909）
精度对齐 长训Loss比对结果 使用Msprobe工具分析偏差 Loss对齐结果 父主题： Dit模型PyTorch迁移与精度性能调优
配置本地IDE（Pycharm或者VSCode）联接云上环境调试请参考使用本地IDE开发模型。 父主题： 业务代码问题
主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.3.911） 场景介绍 准备工作 执行训练任务 查看日志和性能 训练benchmark工具 训练脚本说明 附录：训练常见问题 父主题： LLM大语言模型训练推理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
