检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
inconsistent with standard open source 原因分析 ChatGLM3-6B或GLM-4-9B调优转换后的模型文件中配置文件与原始文件有差异,导致权重校验失败。 问题影响 ChatGLM3-6B或GLM-4-9B调优转换后的模型无法使用权重校验。 处理方法
创建训练任务 针对专属池场景,应注意挂载的目录设置和调试时一致。 登录ModelArts管理控制台,检查当前账号是否已完成访问授权的配置。如果未完成,请参考使用委托授权。针对之前使用访问密钥授权的用户,建议清空授权,然后使用委托进行授权。 在左侧导航栏中选择“模型训练 > 训练作
找并订阅相应的场景化AI案例。订阅后可以一键运行案例。 AI Gallery中分享的案例支持免费订阅,但在使用过程中如果消耗了硬件资源进行部署,管理控制台将根据实际使用情况收取硬件资源的费用。 前提条件 注册并登录华为云,且创建好OBS桶用于存储数据和模型。 订阅并使用AI案例 登录“AI
更新管理 ModelArts在线服务更新 对于已部署的推理服务,ModelArts支持通过更换模型的版本号,实现服务升级。 推理服务有三种升级模式:全量升级、滚动升级(扩实例)和滚动升级(缩实例)。了解三种升级模式的流程,请参见图1。 全量升级 需要额外的双倍的资源,先全量创建新版本实例,然后再下线旧版本实例。
可提升在昇腾硬件后端上运行模型的性能。 AKG的配置也是在模型转换阶段进行配置(即执行converter_lite命令时),通过指定对应的配置文件akg.cfg,设置对应的akg优化级别,并且在模型转换时参考样例进行对应的配置。 # akg.cfg [graph_kernel_param]
LLama系列、Qwen系列模型支持此特性。 Chunked Prefill参数配置 Chunked Prefill的依赖参数如下表所示。 表1 依赖参数说明 配置项 取值类型 取值范围 配置说明 enable-chunked-prefill bool true false true:开启Chunked
您可以通过如下两种方式将训练的模型迁移到其他账号。 将训练好的模型下载至本地后,上传至目标账号对应区域的OBS桶中。 通过对模型存储的目标文件夹或者目标桶配置策略,授权其他账号进行读写操作。详请参见配置高级桶策略。 父主题: Standard模型训练
-dir/AscendSpeed; sh ./scripts/obs_pipeline.sh Step2 配置数据输入和输出 单击“增加训练输入”和“增加训练输出”,用于配置训练作业开始时需要输入数据的路径和训练结束后输出数据的路径。 在“输入”的输入框内设置变量:ORIGINA
-dir/AscendSpeed; sh ./scripts/obs_pipeline.sh Step2 配置数据输入和输出 单击“增加训练输入”和“增加训练输出”,用于配置训练作业开始时需要输入数据的路径和训练结束后输出数据的路径。 在“输入”的输入框内设置变量:ORIGINA
图1 netron中查看inputShape 精度选择。 精度选择需要在模型转换阶段进行配置,执行converter_lite命令时通过--configFile参数指定配置文件路径,配置文件通过precision_mode参数指定精度模式。可选的参数有“enforce_fp32
模型来源的类型,仅当模型为自动学习部署过来时有值,取值为auto。 model_id String 模型id。 model_source String 模型来源。auto:自动学习;algos:预置算法;custom:自定义。 install_type Array of strings 模型支持的部署类型列表。
ch_num, dataset, callbacks=[ckpoint_cb, loss_cb]),mindspore1.3及以后版本支持从断点恢复训练。 父主题: 使用ModelArts Standard训练模型
User:用户名,例如:ma-user - HostName:IP地址 - Port:端口号 在VS Code中手工配置远程连接时,在本地的ssh config文件中增加配置参数“StrictHostKeyChecking no”和“UserKnownHostsFile=/dev/null”
专属集群ID,默认为空,不使用专属集群;使用专属集群部署服务时需确保集群状态正常;配置此参数后,则使用集群的网络配置,vpc_id参数不生效。 inf_config_list 否 Array of InfConfig objects 运行推理任务需要的配置列表,可选填,默认为空。 inf_output
-dir/AscendSpeed; sh ./scripts/obs_pipeline.sh Step2 配置数据输入和输出 单击“增加训练输入”和“增加训练输出”,用于配置训练作业开始时需要输入数据的路径和训练结束后输出数据的路径。 在“输入”的输入框内设置变量:ORIGINA
专属集群ID,默认为空,不使用专属集群;使用专属集群部署服务时需确保集群状态正常;配置此参数后,则使用集群的网络配置,vpc_id参数不生效。 inf_config_list Array of InfConfig objects 运行推理任务需要的配置列表,可选填,默认为空。 inf_output
写权限。此操作指导是某一华为云账号将其OBS桶权限授予其他华为云账号。如果您的账号是IAM用户或其他场景时,请参见《OBS权限配置指南 》> 典型场景配置案例,查找授予OBS桶权限的指导。 获得OBS桶的读写权限后,您可以在Notebook中,使用moxing接口,访问对应的OBS桶,并读取数据。举例如下:
# 配置文件 |──deepspeed/ # deepspeed配置json文件 |──modellink_performance_cfgs.yaml # ModelLink训练配置json文件
# 配置文件 |──deepspeed/ # deepspeed配置json文件 |──modellink_performance_cfgs.yaml # ModelLink训练配置json文件
Standard权限管理 ModelArts权限管理基本概念 权限控制方式 典型场景配置实践 FAQ