检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持您添加或去除新的高空层次,训练任务会根据您配置的高空层次对模型重新进行训练。 高空变量 设置训练数据的高空变量信息,在“预训练”的场景中也支持您添加或去除新的高空变量,选择后会在变量权重中增加或去除该变量权重,训练任务会根据您配置的高空变量对模型重新进行训练。 表面变量 设置
设置发布格式。由于数据工程需要支持对接盘古大模型或三方大模型,为了使这些数据集能够被这些大模型正常训练,平台支持发布不同格式的数据集。 在“格式配置”分页,选择发布格式,单击“下一步”。当前支持默认格式、盘古格式、自定义格式: “默认格式”为数据工程功能支持的原始格式。 “盘古格式”为
设置发布格式。由于数据工程需要支持对接盘古大模型或三方大模型,为了使这些数据集能够被这些大模型正常训练,平台支持发布不同格式的数据集。 在“格式配置”分页,选择发布格式,单击“下一步”。当前支持默认格式、盘古格式、自定义格式: “默认格式”为数据工程功能支持的原始格式。 “盘古格式”为
小,适当的数据批量大小能够确保训练各个阶段都能充分利用计算资源,提升并行效率。 数据配置 训练数据 选择训练模型所需的数据集。要求数据集经过发布操作,发布数据集操作方法请参见发布数据集。 资源配置 计费模式 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。
布的模型,所有这些模型将存放于空间资产中进行统一管理。用户可查看预置模型的历史版本和操作记录,还可以执行模型的进一步操作,包括训练、压缩、部署等。此外,平台支持导出和导入盘古大模型的功能,使用户能够将其他局点的盘古大模型迁移到本局点,便于模型资源共享。 父主题: 管理盘古大模型空间资产
登录ModelArts Studio大模型开发平台,进入所需空间。 获取调用路径及部署ID。单击左侧“模型开发 > 模型部署”,选择所需调用的大模型,单击“调用路径”,在“调用路径”弹窗获取调用路径及部署ID。 请求参数 使用Token认证方式的请求Header参数见表1。 表1 请求Header参数(Token认证)
单击“下一步”进入“算子编排”页面。对于文本类数据集,可选择预置加工算子,请参见文本类加工算子能力清单。 在左侧“添加算子”模块勾选所需算子。 在右侧“加工步骤编排”页面配置各算子的参数,可通过右侧按钮,拖拽算子的上下顺序来调整算子在加工任务流中的执行顺序。 算子编排过程中,可以单击右上角“保存为新模板”将当前
在模型训练列表中查看训练任务的状态,各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 已发布 模型已经训练完成并进行发布,用户可以使用模型进行部署、推理操作。 训练完成 模型训练已经成功完成。 训练中 模型正在训练中,训练过程尚未结束。 训练失败 模型训练过程中出现错误,需查看日志定位训练失败原因。
求。通过平台提供的数据发布功能,用户能够根据具体任务需求,灵活选择和定制数据发布格式,保证数据的兼容性与一致性,从而为后续的模型训练和应用部署奠定坚实基础。 支持数据发布的数据集类型 ModelArts Studio大模型开发平台支持发布操作的数据集类型如下: 文本类数据集,详见发布文本类数据集。
看训练指标、训练任务详情和训练日志。 表1 训练状态说明 训练状态 训练状态含义 已发布 模型已经训练完成并进行发布,用户可以使用模型进行部署、推理操作。 训练完成 模型训练已经成功完成。 训练中 模型正在训练中,训练过程尚未结束。 训练失败 模型训练过程中出现错误,需查看日志定位训练失败原因。
数据集的质量。平台预设了多种数据类型的基础评估标准,用户可以直接使用这些标准,也可以根据具体的业务需求创建自定义的评估标准。通过这种灵活的配置方式,用户能够根据不同的应用场景和目标,精确地评估和优化数据质量,确保数据在进入模型训练阶段之前达到高标准,进而提升模型的性能和效果。 数据集评估标准介绍
本场景采用了下表中的推理参数进行解码,您可以在平台部署后参考如下参数调试: 表3 推理核心参数设置 推理参数 设置值 最大Token限制(max_token) 4096 温度(temperature) 0.3 核采样(top_p) 1.0 话题重复度控制(presence_penalty) 0 部署推理服务后,可以
本场景采用了下表中的推理参数进行解码,您可以在平台部署后参考如下参数调试: 表2 推理核心参数设置 推理参数 设置值 最大Token限制(max_token) 1024 温度(temperature) 0.3 核采样(top_p) 0.8 话题重复度控制(presence_penalty) 0 部署推理服务后,可以
状态码 HTTP状态码为三位数,分成五个类别:1xx:相关信息;2xx:操作成功;3xx:重定向;4xx:客户端错误;5xx:服务器错误。 状态码如下所示。 状态码 编码 状态说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。
其他类数据集格式要求 除文本、图片、视频、气象、预测类数据集外,用户训练模型时如果使用较特殊的数据集,ModelArts Studio大模型开发平台支持导入用户自定义的数据集。 例如,在训练CV类算法(如图片分类、图片分割、图片检测等任务)时,用户需使用“其他”类型的数据集。 其