检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建联邦学习工程,编写代码,进行模型训练,生成模型包。此联邦学习模型包可以导入至联邦学习部署服务,作为联邦学习实例的基础模型包。 在联邦学习部署服务创建联邦学习实例时,将“基础模型配置”选择为“从NAIE平台中导入”,自动匹配模型训练服务的联邦学习工程及其训练任务和模型包。 创建联邦学习工程步骤如下。
训练配置 模型来源 选择“盘古大模型”。 模型类型 选择“科学计算大模型”。 场景 选择“区域中期海洋智能预测”。 训练类型 选择“微调”。 基础模型 选择所需微调的基础模型,可从“已发布模型”或“未发布模型”中进行选择。 模型水平分辨率 模型网格在水平方向上的精细程度,通常用来表示模拟
高级版、专业版、旗舰版机器人支持问答模型训练。 您可通过添加更多扩展问或改用其他类型的模型来提高指标。包含以下三种训练模型: 默认模型:修改知识库内容后自动生效。 轻量级深度学习模型:修改知识库内容后需训练模型发布生效。 重量级深度学习模型:修改少量知识库内容无需重新训练发布,但会导致问答变慢,模型运行中时
联邦学习&重训练,保障模型应用效果 支持联邦学习,模型可以采用多地数据进行联合训练,提升样本多样性,提升模型效果 支持迁移学习,只需少量数据即可完成非首站点模型训练,提升模型泛化能力 模型自动重训练,持续优化模型效果,解决老化劣化问题 预置多种高价值通信增值服务,缩短模型交付周期 无需A
查看NLP大模型训练状态与指标 模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练结果、训练任务详情和训练日志。 查看模型训练状态 在模型训练列表中查看训练任务的状态,各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 初始化
cfg”。 OBS导入模型至HiLens Studio 通过OBS导入模型至HiLens Studio,首先需要将自定义的模型上传至OBS服务,请见上传模型至OBS。然后将OBS中的模型导入至HiLens Studio,可通过导入模型和拖拽模型两种操作方式导入模型。 上传模型至OBS 将自定义的模型上传到OBS服务,非“
查看科学计算大模型训练状态与指标 模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练结果、训练任务详情和训练日志。 查看模型训练状态 在模型训练列表中查看训练任务的状态,各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 初始化
使得模型在最优解附近震荡,甚至跳过最优解,导致无法收敛。您可以尝试提升数据质量或者减小学习率的方式来解决。 图3 异常的Loss曲线:上升 Loss曲线平缓,保持高位:Loss保持平缓且保持高位不下降的原因可能是由于目标任务的难度较大,或者模型的学习率设置得过小,导致模型的收敛
创建联邦学习工程 创建工程 编辑代码(简易编辑器) 编辑代码(WebIDE) 模型训练 父主题: 模型训练
模型训练 自动学习训练作业失败 父主题: 自动学习
模型训练服务首页简介 模型训练服务首页展示了用户自己创建的项目和用户所属租户下面其他用户创建的公开项目,提供如下功能: 创建项目 使用模板快速创建项目,模板中已经预制数据集、特征处理算法、模型训练算法和模型验证算法。 查看和编辑项目信息 模型训练服务首页界面如下图所示。 图1 模型训练服务首页
动调优并生成满足要求的模型 ModelArts自动学习,为资深级用户提供模板化开发能力 提供“自动学习白盒化”能力,开放模型参数、自动生成模型,实现模板化开发,提高开发效率 采用自动深度学习技术,通过迁移学习(只通过少量数据生成高质量的模型),多维度下的模型架构自动设计(神经网络
是否生成本地模型包:请保持默认值关闭。即默认不在当前JupyterLab特征工程项目中生成本地模型包。仅归档模型包,供模型管理页面新建模型包使用。 是否生成本地metadata.json:请保持默认值关闭。 单击归档cell代码框左侧的图标,完成模型归档。 父主题: 模型训练
模型开发 ModelArts Studio大模型开发平台提供了模型开发功能,涵盖了从模型训练到模型调用的各个环节。平台支持全流程的模型生命周期管理,确保从数据准备到模型部署的每一个环节都能高效、精确地执行,为实际应用提供强大的智能支持。 模型训练:在模型开发的第一步,ModelArts
小。在深度学习中,微调用于改进预训练模型的性能。 2 生成模型服务 将已有模型部署为模型服务 接入模型服务 支持通过API接入模型服务,同时支持将平台预置模型进行微调后,部署为模型服务,模型服务可以在创建Agent时使用或通过模型调用接口调用。 3 调测模型 通过调测模型,可检验
pangu_chat 盘古对话模型 pangu_llm 盘古裸机模型 embedding 向量模型 query2query query2query模型 rerank 精排模型 search_plan 搜索规划模型 llm 原生模型 最小长度:1 最大长度:64 枚举值: pangu_chat pangu_llm
训练模型 特征和算法确定后,可以开始训练模型。 训练模型 单击“模型选择”左下方的“训练模型”。 新增“训练模型”内容,如图1所示。 图1 训练模型 单击“训练模型”代码框左侧的图标,进行模型训练。 模型训练完成后,界面下方展示模型的评估效果。 第一列内容的含义如下所示: 0:标注为0的所有样本。可以理解为标签。
”或“部署”,可以直接使用模型进行训推。 当按钮置灰时,表示模型不支持该任务。 模型介绍 表1列举了ModelArts Studio大模型即服务平台支持的模型清单,模型详细信息请查看界面介绍。 表1 模型广场的模型系列介绍 模型系列 模型类型 应用场景 支持语言 GLM-4 文本生成
模型验证 模型验证界面已经预置了模型验证服务,本次不使用,仅供参考。下面会提供端到端的操作流程,帮助用户快速熟悉模型验证界面操作。 单击菜单栏中的“模型验证”,进入模型验证界面。 可以看到预置的模型验证任务“hardisk-detect”。 单击“创建”,弹出如图1所示的对话框。
测试模型 用测试数据测试模型的泛化能力。训练数据可以是带标签或者不带标签的数据,测试数据一定是带标签的数据,方便评估模型执行效果。 单击“训练模型”左下方的“测试模型”,新增“测试模型”内容。 参数配置均保持默认值。 单击“测试模型”代码框左侧的图标,进行模型评估。 模型测试效果会通过表格的形式在下方展示。