检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
报错原因: 训练时transformers版本要求为4.45.0,训练完成后保存的tokenizer.json文件中的“merges”时保存的是拆开的列表不是字符串,导致推理异常 解决措施,以下两种方法任选其一: 更新transformes和tokenizers版本 GLM4-9B模型,容器内执行以下步骤:
报错原因: 训练时transformers版本要求为4.45.0,训练完成后保存的tokenizer.json文件中的“merges”时保存的是拆开的列表不是字符串,导致推理异常 解决措施,以下两种方法任选其一: 更新transformes和tokenizers版本 GLM4-9B模型,容器内执行以下步骤:
/v2/{project_id}/training-job-engines 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 无 响应参数 状态码:200 表2 响应Body参数 参数 参数类型
完成超参搜索作业的创建后,训练作业需要运行一段时间。 查看超参搜索作业详情 训练作业运行结束后,可以查看自动超参搜索结果判断此训练作业是否满意。 如果训练作业是超参搜索作业,进入训练作业详情页,选择“自动超参搜索结果”页签查看超参搜索结果。 图3 超参搜索结果 父主题: 自动模型优化(AutoSearch)
报错原因: 训练时transformers版本要求为4.45.0,训练完成后保存的tokenizer.json文件中的“merges”时保存的是拆开的列表不是字符串,导致推理异常 解决措施,以下两种方法任选其一: ①更新transformes和tokenizers版本 GLM4-9B模型,容器内执行以下步骤:
-annotations/samples 表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选
examples/deepspeed/ds_z3_config.json 可选项。用于指定DeepSpeed的配置文件相对或绝对路径。DeepSpeed是一个开源库,用于加速深度学习训练。通过使用DeepSpeed,可以实现如混合精度训练、ZeRO内存优化等高级特性,以提高训练效率和性能 stage
软件包名称中的xxx表示时间戳。 包含了本教程中使用到的模型训练代码、推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 AscendFactory是用于模型并行计算的框架,其中包含了许多模型的输入处理方法。 获取路径:Support-E,在此路径中查找下载ModelArts 6.3.912
/v2/{project_id}/workflows/todolist 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 workspace_id
--warmUpLoopCount=100 --loopCount=100 图1 调优前模型 图2 调优后模型 AOE优化成功的mindir已经融合了优化的知识库,是一个独立可用的模型。即使AOE知识库删除,不影响该mindir的性能。可以备份这个模型优化产生的知识库,以后需要的话再使用。 父主题: 性能调优
模块列表 功能介绍 我的主页 展示个人的成长值数据。 成长值可以通过“签到”和发布资产获取,每天只能签到一次。 说明: 成长值相关数据和功能当前是Beta版本,在正式版本发布前可能会发生变化。 我的资产 > 算法 展示个人发布和订阅的算法列表。 “我的发布”:可以查看个人发布的算法信息
GET /v1/{project_id}/resourceflavors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 continue 否
发布和管理AI Gallery项目 在AI Gallery中,您可以将个人开发的Notebook代码免费分享给他人使用。 前提条件 在ModelArts的Notebook或者CodeLab中已创建好ipynb文件,开发指导可参见开发工具。 发布Notebook 登录ModelArts管理控制台,选择“开发环境
订阅Workflow 在AI Gallery中,您可以查找并订阅免费的Workflow。订阅成功的Workflow通过AI Gallery导入后可以直接在ModelArts控制台使用。 AI Gallery中分享的Workflow支持免费订阅,但在使用过程中如果消耗了硬件资源进行
lowers”、“roses”等。标注完成后,图片将存储至“已标注”页签下。 图片标注不支持多标签,即一张图片不可以添加多个标签。 标签名是由中文、大小写字母、数字、中划线或下划线组成。 当图片目录中所有图片都完成标注后,您可以在“已标注”页签下查看已完成标注的图片,或者通过右侧
训练作业卡死检测 什么是训练作业卡死检测 训练作业在运行中可能会因为某些未知原因导致作业卡死,如果不能及时发现,就会导致无法及时释放资源,从而造成极大的资源浪费。为了节省训练资源成本,提高使用体验,ModelArts提供了卡死检测功能,能自动识别作业是否卡死,并在日志详情界面上展
数据进一步确认标注,然后将其加入训练数据集中,使用此数据集训练模型,可得到精度更高的模型。首先,针对智能标注和采集筛选任务,难例的发现操作是系统自动执行的,无需人工介入,仅需针对标注后的数据进行确认和修改即可,提升数据管理和标注效率。其次,您可以基于难例的情况,补充类似数据,提升
报错原因: 训练时transformers版本要求为4.45.0,训练完成后保存的tokenizer.json文件中的“merges”时保存的是拆开的列表不是字符串,导致推理异常 解决措施,以下两种方法任选其一: 更新transformes和tokenizers版本 GLM4-9B模型,容器内执行以下步骤:
指令输入 字段名称(例如:请问苹果是什么颜色) output_name output:预训练json文件的output字段名称,例如:苹果是红色的。 code_type:预训练json文件编码 默认utf-8 当转换为share gpt格式时,prefix和 input会拼接成一
映射数据集路径到OBS 由于最终JSON体中需要填写的是图片文件的真实路径,也就是OBS对应的路径,所以在复制到本地做完分析和评估操作后,需要将原来的本地数据集路径映射到OBS路径,然后将新的list送入analysis接口。 如果使用的是OBS路径作为输入的data_url,则只需要替换本地路径的字符串即可。