检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
py中用等CPU侧初始化实现替换完成计算之后再切回device进行计算(下图第731行)。 然后再比对分析发现所有API计算都已对齐结果,转而查看Loss对齐情况。 父主题: 精度对齐
新增MiniCPM-2B和MiniCPM3-4B模型训练。 约束限制 本文档适配昇腾云ModelArts 6.5.901版本,请参考表1获取配套版本的软件包,请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite DevServer。 镜像适配的Cann版本是cann_8
权重转换完成后,在/home/ma-user/ws/processed_for_ma_input/GLM3-6B/converted_weights目录下查看转换后的权重文件。 图1 转换后的权重文件 父主题: SFT全参微调训练
登录ModelArts管理控制台,在左侧菜单栏中选择“AI专属资源池 > 弹性集群 Cluster”,在“弹性集群”页面,选择“Lite资源池”页签,查看资源池列表。 在资源池列表中,选择需要进行驱动升级的资源池“ > 驱动升级”。 图1 驱动升级 在“驱动升级”弹窗中,会显示当前专属资源池
口和offline_profile.py脚本。 Profiling结果的格式是TensorBoard格式,可通过TensorBoard工具查看。 通过start_profile和stop_profile方法获取Profiling数据 通过指定环境变量VLLM_TORCH_PROF
权重转换完成后,在/home/ma-user/ws/processed_for_ma_input/Qwen-14B/converted_weights目录下查看转换后的权重文件。 图1 转换后的权重文件 父主题: SFT微调训练
执行训练启动命令后,等待模型载入,当出现“training”关键字时,表示开始训练。训练过程中,训练日志会在最后的Rank节点打印。 图1 等待模型载入 更多查看训练日志和性能操作,请参考查看日志和性能章节。 如果需要使用断点续训练能力,请参考断点续训练章节修改训练脚本。 父主题: 预训练
作业日志选择OBS中的路径,训练作业的日志信息则保存该路径下。 最后,提交训练作业,训练完成后,请参考查看日志和性能章节查看SFT微调的日志和性能。了解更多ModelArts训练功能,可查看模型开发简介。 父主题: 执行训练任务
作业日志选择OBS中的路径,训练作业的日志信息则保存该路径下。 最后,提交训练作业,训练完成后,请参考查看日志和性能章节查看SFT微调的日志和性能。了解更多ModelArts训练功能,可查看模型开发简介。 父主题: 执行训练任务
oject_dir”加入到“sys.path”中解决该问题。 使用from module_dir import module_file来导包,代码结构如下: project_dir |- main.py |- module_dir | |- __init__.py | |- module_file
inf_cluster_id 否 String 专属集群ID,默认为空,不使用专属集群;使用专属集群部署服务时需确保集群状态正常;配置此参数后,则使用集群的网络配置,vpc_id参数不生效。 inf_config_list 否 Array of InfConfig objects 运行推理任务需要的配置列表,可选填,默认为空。
填;TRAIN_ITERS、MBS、GBS、TP、PP、WORK_DIR、SEQ_LEN为非必填,有默认值。 训练完成后,请参考查看日志和性能章节,查看SFT微调的日志和性能。 父主题: SFT微调训练
填;TRAIN_ITERS、MBS、GBS、TP、PP、WORK_DIR、SEQ_LEN为非必填,有默认值。 训练完成后,请参考查看日志和性能章节查看日志和性能。 父主题: SFT全参微调训练
用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 search_type 否 String 过滤方式。可选值如下:
String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 表4 Apps 参数 是否必选 参数类型 描述 app_id 否 String APP的编号,可通过查询APP列表获取。 响应参数 状态码:200
Standard推理部署 如何将Keras的.h5格式的模型导入到ModelArts中? ModelArts导入模型时,如何编写模型配置文件中的安装包依赖参数? 在ModelArts中使用自定义镜像创建在线服务,如何修改端口? ModelArts平台是否支持多模型导入? 在ModelArts中导入模型对于镜像大小有什么限制?
channels 否 List python包的下载源。 pip_packages 否 List conda虚拟环境需要使用的python包,如tensorflow,pillow等。 conda_packages 否 List conda虚拟环境需要使用的conda包,如指定python版本。 表4
String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 表4 Apps 参数 是否必选 参数类型 描述 app_id 否 String APP的编号,可通过查询APP列表获取。 响应参数 状态码:200
计费模式 ModelArts计费模式概述 包年/包月 按需计费 套餐包
统。 选择存放OBS并行文件系统下的文件夹,单击“确定”。 图1 动态挂载OBS并行文件系统 挂载成功后,可以在Notebook实例详情页查看到挂载结果。 图2 挂载成功 方式2:API模式 动态挂载API接口已发布至华北-北京四和华东-上海一站点。请参考JupyterLab主页