检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
eddings': 8192, 'rope_type': 'llama3'} 解决方法：升级transformers版本到4.43.1：pip install transformers --upgrade 问题5：使用SmoothQuant进行W8A8进行模型量化时，报错：AttributeError:
dependencies 否 dependency结构数组 表示模型推理代码需要依赖的包，为结构体数据。 模型开发者需要提供包名、安装方式、版本约束。目前只支持pip安装方式。dependency结构数组说明如表6所示。 如果模型包内没有推理代码customize_service.py文件，则该字段可不填。自定义镜像模型不支持安装依赖包。
响应参数如表2所示。 表2 响应参数 参数 参数类型 说明 id String 实例ID。 name String 实例名称。 description String 实例描述。 status String 实例状态。 creation_timestamp String 实例的创建时间。
local_code_dir="/home/ma-user/modelarts/user-job-dir", job_description='This is a image net train job') job_instance = estimator.fit(in
Turbo中的数据执行编辑操作。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、创建训练任务及性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调，包括训练数据处理、超参配置、创建训练任务及性能查看。 LoRA微调训练 介绍如何进行LoRA微调训练，包括训练数据处理、超参配置、创建训练任务及性能查看。
Turbo的连接状态信息。可选值如下： Active：SFS连通状态正常 Abnormal：SFS连通状态异常 ipAddr String SFS Turbo的访问地址。 状态码：400 表19 响应Body参数 参数 参数类型 描述 error_code String ModelArts错误码。
API网关）和模型。 处理方法 优先排查APIG（API网关）是否是通的，可以在本地使用curl命令排查，命令行：curl -kv {预测地址}。如返回Timeout则需排查本地防火墙，代理和网络配置。 检查模型是否启动成功或者模型处理单个消息的时长。因APIG（API网关）的限
将为用户提供一个可调用的API，此API为标准Restful API。您可以在服务详情页面，调用指南页签中查看API接口公网地址。 图1 API接口公网地址 约束限制 调用API访问在线服务时，对预测请求体大小和预测时间有限制： 请求体的大小不超过12MB，超过后请求会被拦截。
进入ModelArts控制台，单击“镜像管理 > 注册镜像”，进入“注册镜像”页面。 根据界面提示填写相关信息，然后单击“立即注册”。 “镜像源”选择构建好的镜像。可直接复制完整的SWR地址，或单击选择SWR构建好的镜像进行注册。 图2 选择镜像源 “架构”和“类型”：根据自定义镜像的实际框架选择。 注册后的镜像会显
表10 AIProject定义结构说明 参数 是否必选 参数类型 描述 id 否 String AI项目ID，预留字段。 响应消息 响应参数如表11所示。 表11 响应参数 参数 参数类型 说明 id String 实例ID。 name String 实例名称。 description
导入表格数据集，数据库名字。 input String 表格数据集，HDFS路径。例如/datasets/demo。 ip String 用户GaussDB(DWS)集群的IP地址。 port String 用户GaussDB(DWS)集群的端口。 queue_name String 表格数据集，DLI队列名。
/home/ma-user/work/llm_train/AscendFactory; sh ./scripts_modellink/install.sh; sh ./scripts_modellink/llama2/0_pl_sft_13b.sh 如果镜像使用ECS中构建新镜像构建的新镜像时，训练作业启动命令中输入：
Turbo中的数据执行编辑操作。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、创建训练任务及性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调，包括训练数据处理、超参配置、创建训练任务及性能查看。 LoRA微调训练 介绍如何进行LoRA微调训练，包括训练数据处理、超参配置、创建训练任务及性能查看。
表4 instances字段响应参数说明 参数 参数类型 说明 id String 实例ID。 name String 实例名称。 description String 实例描述。 status String 实例状态。 creation_timestamp String 实例的创建时间。
具体案例直接实操，请参考《主流开源大模型基于DevServer适配PyTorch NPU训练指导》。该案例以ChatGLM-6B为例，介绍如何将模型迁移至昇腾设备上训练、模型精度对齐以及性能调优。 迁移环境准备 本文以弹性裸金属作为开发环境。弹性裸金属支持深度自定义环境安装，可以
参考线下容器镜像构建及调试章节，构建容器镜像并调试，镜像构建及调试与单机单卡相同。 上传镜像，参考单机单卡训练的上传镜像章节操作。 准备数据 登录coco数据集下载官网地址：https://cocodataset.org/#download 下载coco2017数据集的Train（18GB）、Val images（1GB）、Train/Val
常见问题 MindSpore Lite问题定位指南 模型转换报错如何查看日志和定位？ 日志提示Compile graph failed 日志提示Custom op has no reg_op_name attr 父主题： GPU推理业务迁移至昇腾的通用指导
导入表格数据集，数据库名字。 input 否 String 表格数据集，HDFS路径。例如/datasets/demo。 ip 否 String 用户GaussDB(DWS)集群的IP地址。 port 否 String 用户GaussDB(DWS)集群的端口。 queue_name 否 String
2.2.8.0aa484aa ipykernel 6.7.0 ipython 8.18.1 jupyter-client 7.4.9 matplotlib 3.5.1 numpy 1.22.0 pandas 1.3.5 Pillow 10.0.1 pip 21.0.1 psutil
获取工作流节点的度量信息。 表3 WorkflowSubscription API 说明 新建消息订阅 创建工作消息订阅。 删除Subscription 删除消息订阅。 查询Subscription详情 查询订阅信息。 更新Subscription 更新订阅信息。 表4 WorkflowSchedule
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
