检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
loss参数随着训练迭代周期持续性减小,并逐渐趋于稳定平缓。loss收敛图存放路径对应表1表格中output_dir参数值路径下的training_loss.png中也可以使用可视化工具TrainingLogParser查看loss收敛情况,将trainer_log.jsonl文件长传至可视化工具页面,如图2所示。
--workers:设置数据处理使用执行卡数量 / 启动的工作进程数。 --log-interval:是一个用于设置日志输出间隔的参数,表示输出日志的频率。在训练大规模模型时,可以通过设置这个参数来控制日志的输出。 --prompt-type:需要指定使用模型的template。已支持的系列模型可查看:文档更新内容。
服务部署,请参考统一镜像列表。 表1 MindSpore 预置镜像 适配芯片 适用范围 mindspore_2.3.0-cann_8.0.rc1-py_3.9-euler_2.10.7-aarch64-snt9b Ascend snt9b Notebook、训练、推理部署 mindspore_2
表1 填写说明 区域 填写说明 1 输入技术文章的标题。 2 选择技术文章所属分类。 3 输入摘要信息。 4 编辑技术文章的内容。右侧可以选择使用“富文本编辑器”或“markdown”方式编辑内容,也可上传附件,支持rar,zip,doc,docx,xls,xlsx,ppt,pptx
描述 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String
本文件,故删除一条样本不会对源文本有影响)。可选值如下: false:不删除源文件(默认值) true:删除源文件(注意:此操作可能影响已使用这些文件的数据集版本或其他数据集,导致页面展示异常或者训练/推理异常) samples 否 Array of strings 样本ID列表。
数据集标注结果文件大小限制:100MB。 前提条件 数据集功能需要获取访问OBS权限,在未进行委托授权之前,无法使用此功能。在使用数据集功能之前,请前往“权限管理”页面,使用委托完成访问授权。 已创建用于存储数据的OBS桶及文件夹。并且,数据存储的OBS桶与ModelArts在同一区
modelarts/workspace.id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 表5 NetworkSpec 参数 是否必选 参数类型 描述 cidr 是 String 网络的cidr。取值范围:
“角色”支持“Labeler”、“Reviewer”和“Team Manager”,“Team Manager”只能设置为一个人。 删除团队 当已有的团队不再使用,您可以执行删除操作。 在“标注团队”管理页面中,选中需删除的团队,然后单击“删除”。在弹出的对话框中,确认信息无误后,单击“确定”完成团队删除。
@modelarts:from_type String 内置属性:三元组关系标签的起始实体类型,创建关系标签时必须指定,该参数仅文本三元组数据集使用。 @modelarts:rename_to String 内置属性:重命名后的标签名。 @modelarts:shortcut String
workforce_name String 标注团队名称。 workspace_id String 工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 请求示例 查询标注团队列表 GET https://{endpoint}/v2/{project_id}/workforces
描述 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String
Array of strings 请求模式,AI引擎支持部署为同步在线服务或异步在线服务。 sync:同步在线服务 async:异步在线服务 accelerators Array of Accelerator objects AI引擎可使用的加速卡。 arch Array of strings
--workers:设置数据处理使用执行卡数量 / 启动的工作进程数。 --log-interval:是一个用于设置日志输出间隔的参数,表示输出日志的频率。在训练大规模模型时,可以通过设置这个参数来控制日志的输出。 --prompt-type:需要指定使用模型的template。已支持的系列模型可查看:文档更新内容。
请求链路编号,可用于日志追踪 表6 响应Body参数 参数 参数类型 描述 update_time String 本次更新时间,仅触发服务配置升级时会返回,比如修改config参数,可根据此时间从服务更新记录中过滤出此次的更新结果;修改描述或启停服务不会返回此参数。 resource_ids
文件名或目录:根据文件名称或者文件存储目录筛选。 标注人:选择执行标注操作的账号名称。 样本属性:表示自动分组生成的属性。只有启用了自动分组任务后才可使用此筛选条件。 数据属性:暂不支持。 图2 筛选条件 父主题: 标注ModelArts数据集中的数据
allowed_access_ips Array of strings 允许通过SSH协议访问Notebook的公网IP地址白名单列表,默认都可以访问。当配置指定IP后,则仅允许IP所在的客户端实现对Notebook的访问。 dev_service String 支持的服务,枚举值如下: NOT
kenizer,需要修在generation_config.json中加入"do_sample": true,具体如图所示。 Yi模型 在使用Yi模型的chat版本时,由于transformer 4.38版本的bug,导致在读取tokenizer文件时,加载的vocab_size出现类似如下尺寸不匹配的问题。
kenizer,需要修在generation_config.json中加入"do_sample": true,具体如图所示。 Yi模型 在使用Yi模型的chat版本时,由于transformer 4.38版本的bug,导致在读取tokenizer文件时,加载的vocab_size出现类似如下尺寸不匹配的问题。
kenizer,需要修在generation_config.json中加入"do_sample": true,具体如图所示。 Yi模型 在使用Yi模型的chat版本时,由于transformer 4.38版本的bug,导致在读取tokenizer文件时,加载的vocab_size出现类似如下尺寸不匹配的问题。