检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用 nerdctl 工具进行镜像拉取。 nerdctl --namespace k8s.io pull {image_url} 注意:集群有多个节点,要确保每个节点都拥有镜像。 镜像获取完成后可通过如下其中一个命令进行查看: # ctr 工具查看 ctr -n k8s.io image
训练作业的数据集版本ID。应与dataset_id同时出现,但不可与data_url同时出现。 type 否 String 数据集类型。可选值有“obs”、“dataset”。obs与dataset不可同时出现。 data_url 否 String OBS的桶路径,不可与datase
多个属性值之间的关系。可选值如下: AND:与关系 OR:或关系 props 否 Map<String,Array<String>> 属性的搜索条件,可以有多个属性条件。 响应参数 状态码: 200 表8 响应Body参数 参数 参数类型 描述 create_time Long 任务创建时间。 error_code
在线服务的简要说明。 填写资源池和模型配置等关键信息,详情请参见表2。 表2 参数说明 参数名称 子参数 说明 “资源池” “公共资源池” 公共资源池有CPU或GPU两种规格,不同规格的资源池,其收费标准不同,详情请参见价格详情说明。当前仅支持按需付费模式。 “专属资源池” 在专属资源池规格
U(Ascend)硬件由于存在一定细小的差别,很难确保完全一致,较难达成生成图片100%匹配,建议通过盲测的方式对效果进行验证。 模型精度有问题怎么办? 首先考虑通过FP16的方式进行转换和执行,再通过精度诊断工具来进行分析,更进一步可以到华为云官网上提交工单处理。 模型转换失败时如何查看日志和定位原因?
er_lite命令时通过--configFile参数指定配置文件路径,配置文件通过precision_mode参数指定精度模式。可选的参数有“enforce_fp32”,“preferred_fp32”,“enforce_fp16”,“enforce_origin”或者“pref
格式转换为,json 格式。可使用代码中提供的 scripts/tools/ExcelToJson.py 工具,其转换的要求为: 本脚本可以处理的格式有:.xls .xlsx .csv .xlsb .xlsm .xlst MOSS 数据集的 Excel 中需要有三个列名称:conversation_id
格式转换为,json 格式。可使用代码中提供的 scripts/tools/ExcelToJson.py 工具,其转换的要求为: 本脚本可以处理的格式有:.xls .xlsx .csv .xlsb .xlsm .xlst MOSS 数据集的 Excel 中需要有三个列名称:conversation_id
的策略更新,从而减少了训练过程中的不稳定性和样本复杂性。 指令监督式微调(Self-training Fine-tuning):是一种利用有标签数据进行模型训练的方法。 它基于一个预先训练好的模型,通过调整模型的参数,使其能够更好地拟合特定任务的数据分布。 与从头开始训练模型相比
格式转换为,json 格式。可使用代码中提供的 scripts/tools/ExcelToJson.py 工具,其转换的要求为: 本脚本可以处理的格式有:.xls .xlsx .csv .xlsb .xlsm .xlst MOSS 数据集的 Excel 中需要有三个列名称:conversation_id
菜单栏中,选择“ModelArts >Training Job > Stop ”停止训练作业。 图6 停止作业 查看训练日志 查看训练日志有2种方式,在OBS查看和在PyCharm ToolKit工具中查看。 在OBS查看训练日志 提交训练作业时,系统将自动在您配置的OBS Pa
数据类型。可选值如下: 0:OBS桶(默认值) 5:AI Gallery下载数据集 path 是 String 数据源所在路径。 字符限制:不允许出现的特殊字符有换行符(\n)、回车符(\r)、制表符(\t)。 content_info 否 表3 从AI Gallery下载数据集时数据集资产的信息。 annotation_config
建议迭代1~2个epoch。 总Iterations = 整个数据集完整训练需要的Iterations * epoch。例如,当一个数据集有3200条数据,完整训练一个数据集的Iterations为100,迭代2个epoch,总Iterations就是200。 取值范围:1~100000
RANK_TABLE_FILE文件提供Ascend分布式训练作业的集群信息,用于Ascend芯片分布式通信,可以被HCCL集合通信库解析。该文件格式有模板一和模板二两个版本。 ModelArts提供的是模板二格式。ModelArts训练环境的Ascend HCCL RANK_TABLE_F
定的profile。 注册新镜像 构建完成后,将新镜像注册到ModelArts镜像管理服务中,进而能够在ModelArts中使用该镜像。 有两种方式来注册镜像。 方式一:使用ma-cli image register命令来注册镜像。注册命令会返回注册好的镜像信息,包括镜像id,n
格式转换为,json 格式。可使用代码中提供的 scripts/tools/ExcelToJson.py 工具,其转换的要求为: 本脚本可以处理的格式有:.xls .xlsx .csv .xlsb .xlsm .xlst MOSS 数据集的 Excel 中需要有三个列名称:conversation_id
格式转换为,json 格式。可使用代码中提供的 scripts/tools/ExcelToJson.py 工具,其转换的要求为: 本脚本可以处理的格式有:.xls .xlsx .csv .xlsb .xlsm .xlst MOSS 数据集的 Excel 中需要有三个列名称:conversation_id
和“描述”信息等。 填写服务参数。包含资源池、模型配置等关键信息。 表1 参数说明 参数名称 说明 “资源池” “公共资源池” 公共资源池有CPU或GPU两种规格。如需使用,需联系管理员创建公共资源池。 “专属资源池” 您可以在资源池规格中选择对应的规格进行使用。 “模型来源”
格式转换为,json 格式。可使用代码中提供的 scripts/tools/ExcelToJson.py 工具,其转换的要求为: 本脚本可以处理的格式有:.xls .xlsx .csv .xlsb .xlsm .xlst MOSS 数据集的 Excel 中需要有三个列名称:conversation_id
格式转换为,json 格式。可使用代码中提供的 scripts/tools/ExcelToJson.py 工具,其转换的要求为: 本脚本可以处理的格式有:.xls .xlsx .csv .xlsb .xlsm .xlst MOSS 数据集的 Excel 中需要有三个列名称:conversation_id