检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“下一步”。在“已选择数据集配比”中,用户可以设置从数据集中抽取指定数量的数据用于训练。进行数据配比的目的是为了确保模型能够更全面地学习和理解数据的多样性,提升模型的泛化能力和性能。 图4 发布方式2 图5 数据集配比 设置发布格式。由于数据工程需要支持对接盘古大模型或三方大
数据过滤阶段可以设置多种过滤属性,对视频数据集进行筛选。例如,过滤掉数据集中低于360分辨率的视频。 如不需要进行数据过滤可直接单击“下一步”跳过该操作。 图3 数据过滤 当前视频类数据集仅支持发布默认格式,选择好数据集的发布格式后,单击“下一步”。 设置数据集的“资产可见性
务的授权”弹窗选中授权,并单击“确认授权”。 图1 配置OBS访问授权提示 图2 配置OBS访问授权方式1 方式2:单击首页右上角“设置”,在“设置 > 授权管理”页签中,单击“一键授权”。 图3 配置OBS访问授权方式2 父主题: 准备工作
图2 创建气象类数据集发布任务 当前气象类数据集仅支持发布默认格式,选择好数据集的发布格式后,单击“下一步”。 设置数据集的“资产可见性”,填写数据集名称、描述,设置扩展信息后,单击“确认发布”进行数据集发布操作。发布后的数据集支持重新发布和删除操作。 发布后的数据集会作为当前空间的数据资产同步显示在“空间资产
图2 创建预测类数据集发布任务 当前预测类数据集仅支持发布默认格式,选择好数据集的发布格式后,单击“下一步”。 设置数据集的“资产可见性”,填写数据集名称、描述,设置扩展信息后,单击“确认发布”进行数据集发布操作。发布后的数据集支持重新发布和删除操作。 发布后的数据集会作为当前空间的数据资产同步显示在“空间资产
图2 创建其他类数据集发布任务 当前其他类数据集仅支持发布默认格式,选择好数据集的发布格式后,单击“下一步”。 设置数据集的“资产可见性”,填写数据集名称、描述,设置扩展信息后,单击“确认发布”进行数据集发布操作。发布后的数据集支持重新发布和删除操作。 发布后的数据集会作为当前空间的数据资产同步显示在“空间资产
横向比较提示词效果 设置候选提示词 横向比较提示词效果 父主题: 开发盘古大模型提示词工程
提示词写作进阶技巧 设置背景及人设 理解底层任务 CoT思维链 考察模型逻辑 父主题: 提示词写作实践
本空间”页面,单击操作列“更多 > 导出”。若无导出选项,请确认该空间是否为当前用户创建的空间。 选择需要导出的模型,应设置导出模型时对应的导出位置(OBS桶地址),添加从环境B中下载的用户证书。设置完成后单击“确定”导出模型。 图3 导出模型 导入盘古大模型至其他局点 导入盘古大模型至其他局点前,请确保当前空间为该用户所创建的空间。
提示词比较支持选择两个候选提示词对其文本和参数进行比较,支持对选择的候选提示词设置相同变量值查看效果。 提示词评估 提示词评估以任务维度管理,支持评估任务的创建、查询、修改、删除。支持创建评估任务,选择候选提示词和需要使用的变量数据集,设置评估算法,执行任务自动化对候选提示词生成结果和结果评估。 提示词管理
学习率设置得过大,使得模型在最优解附近震荡,甚至跳过最优解,导致无法收敛。您可以尝试提升数据质量或者减小学习率的方式来解决。 图3 异常的Loss曲线:上升 Loss曲线平缓,保持高位:Loss保持平缓且保持高位不下降的原因可能是由于目标任务的难度较大,或者模型的学习率设置得过小
数量。 数据量以Token为单位。 流水线并行微批次大小 在流水线并行处理中,通过合理设置并行程度,可以减少各阶段之间的空闲等待时间,从而提升整个流水线的效率。 每个数据并行下的批处理大小 设置在并行训练中,每个微批次包含的数据批量大小,适当的数据批量大小能够确保训练各个阶段都能充分利用计算资源,提升并行效率。
操作。 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图3 进入操作空间 单击左侧导航栏的“空间管理”,在“空间设置”页签中可执行如下操作: 可修改当前空间的名称与描述。 可查看当前空间的创建时间。 单击右上角“删除”,可删除当前空间。 删除空间属于高危
规划和分配任务,使团队协作更加高效。 此外,平台配备了完善的角色权限体系,覆盖超级管理员、管理员、模型开发工程师等多种角色。通过灵活的权限设置,每位用户能够在其对应的权限范围内安全高效地操作平台功能,从而最大程度保障数据的安全性与工作效率。 父主题: 创建并管理盘古工作空间
话题重复度控制(presence_penalty) -2~2 0 话题重复度控制主要用于控制模型输出的话题重复程度。 参数设置正值,模型倾向于生成新的、未出现过的内容;参数设置负值,倾向于生成更加固定和统一的内容。 如果您没有专业的调优经验,可以优先使用建议,再结合推理的效果动态调整。 为
表面变量 支持选择推理结果输出的表面变量,包括10m u风、10m v风、2米温度、海平面气压,没有选择的变量推理结果将不输出。 高空变量 设置高空变量参数,包括:4个表面层特征(10m u风、10m v风、2米温度、海平面气压),13高空层次(1000、925、850、700、6
操作流程 登录ModelArts Studio大模型开发平台,进入所需空间。 单击左侧“能力调测”,进入“文本对话”页签,选择服务与人设,参数设置为默认参数,在输入框输入问题,单击“生成”,模型将基于问题进行回答。 图1 使用预置服务进行文本对话 可以尝试修改参数以查看模型效果,示例如下:
在“来源数据集”分页,选择“文件内容”为“单轮问答”的数据集,填写数据集名称和描述,单击“下一步”。 图2 选择数据集 在加工步骤编排页面展示了预先设置好的开始、结束步骤。在左侧“添加算子”分页可选择合适的算子,如个人数据脱敏、文本长度过滤等。 导入的数据集格式为“JSONL”,因此默认添加了JSON内容提取算子。
在左侧导航栏中选择“数据工程 > 数据加工”,单击界面右上角“创建加工数据集”。 图2 数据加工 在“创建加工数据集”页面,选择需要加工的文本类数据集,并设置数据集的名称和描述。 选择数据集时,默认选择当前空间的数据集。如果用户具备其他空间的访问权限,可以选择来自其他空间的数据集。 图3 创建加工数据集
在左侧导航栏中选择“数据工程 > 数据加工”,单击界面右上角“创建加工数据集”。 图2 数据加工 在“创建加工数据集”页面,选择需要加工的气象类数据集,并设置数据集的名称和描述信息。 选择数据集时,默认选择当前空间的数据集。如果用户具备其他空间的访问权限,可以选择来自其他空间的数据集。 图3 创建加工数据集