检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若要对ChatCLMv3、GLMv4系列模型进行训练时,需要修改 install.sh 脚本中的 transformers 的版本。由默认 transformers==4.45.0 修改为:transformers==4.44.2 为了避免因使用不同版本的 transformers 库进行训练和推理而导致冲
presence_penalty表示会根据当前生成的文本中新出现的词语进行奖惩。取值范围[-2.0,2.0]。 frequency_penalty 否 0.0 Float frequency_penalty会根据当前生成的文本中各个词语的出现频率进行奖惩。取值范围[-2.0,2.0]。 length_penalty
发布和管理AI Gallery镜像 托管镜像到AI Gallery 发布镜像到AI Gallery 管理AI Gallery镜像 父主题: AI Gallery(新版)
200 OK 401 Unauthorized 403 Forbidden 404 Not Found 错误码 请参见错误码。 父主题: 数据管理(旧版)
alysis/fanova/batch_size.png" } 状态码 状态码 描述 200 ok 错误码 请参见错误码。 父主题: 训练管理
"enable" : true } 状态码 状态码 描述 200 返回调度信息。 错误码 请参见错误码。 父主题: Workflow工作流管理
查询训练作业版本详情 功能介绍 根据作业ID查看指定的训练作业详情。 URI GET /v1/{project_id}/training-jobs/{job_id}/versions/{version_id} 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id
停止可视化作业 功能介绍 停止可视化作业。此接口为异步接口,作业状态请通过查询可视化作业列表与查询可视化作业详情接口获取。 URI POST /v1/{project_id}/visualization-jobs/{job_id}/stop 参数说明如表1所示。 表1 参数说明 参数
查询作业引擎规格 功能介绍 查看指定作业的引擎类型和版本。 创建训练作业和预测作业需要指定引擎规格。 URI GET /v1/{project_id}/job/ai-engines 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String
存储配置选择“弹性文件服务SFS”,并且选择已创建的SFS Turbo实例。如果该SFS Turbo多人共用,则推荐用户编辑“子目录挂载”,创建自己的子目录进行划分。 图2 Notebook中选择弹性文件服务 使用Notebook将OBS数据导入SFS Turbo 打开已创建的Notebook实例
import os os.environ["NCCL_SOCKET_IFNAME"] = "eth0" 只有当用户的NCCL版本低于2.14时,才需要进行以上设置。 父主题: 业务代码问题
确认是账号欠费冻结,补交对应欠费,等待账号解冻即可; 如果是导入模型没有对应的工作权限,可以参考创建自定义策略对相应账号赋予导入模型相关权限。 父主题: 模型管理
共池作业时,spec_id必选,且不能与pool_id同时出现。 pool_id 是 String 专属资源池ID。可在ModelArts管理控制台,单击左侧“专属资源池”,在专属资源池列表中查看资源池ID。创建专属池作业时,pool_id必选,且不能与spec_id同时出现。 engine_id
状态码 描述 204 No Content 401 Unauthorized 403 Forbidden 错误码 请参见错误码。 父主题: 数据管理(旧版)
nodepool name" } 状态码 状态码 描述 200 OK。 400 Bad request 错误码 请参见错误码。 父主题: 节点池管理
OK 401 Unauthorized 403 Forbidden 404 Not Found 错误码 请参见错误码。 父主题: 开发环境管理
【下线公告】华为云ModelArts服务旧版训练管理下线公告 华为云ModelArts服务旧版训练管理在2023年6月30日 00:00(北京时间)正式退市。 下线范围 下线区域:华为云全部Region 下线影响 正式下线后,用户将无法再使用旧版训练管理的功能,包括旧版训练作业、训练参数管理、可视化作业功能,建议将相关作业迁移到新版训练管理。
/scripts/llama2/0_pl_lora_13b.sh 选择用户自己的专属资源池,以及规格与节点数。防止训练过程中出现内存溢出的情况,用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置,并选择用户创建的SFS Turbo文件系统。 云上挂载路径:输入镜像容器中的工作路径
/scripts/llama2/0_pl_pretrain_13b.sh 选择用户自己的专属资源池,以及规格与节点数。防止训练过程中出现内存溢出的情况,用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置,并选择用户创建的SFS Turbo文件系统。 云上挂载路径:输入镜像容器中的工作路径
/scripts/llama2/0_pl_sft_13b.sh 选择用户自己的专属资源池,以及规格与节点数。防止训练过程中出现内存溢出的情况,用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置,并选择用户创建的SFS Turbo文件系统。 云上挂载路径:输入镜像容器中的工作路径