检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“能力调测”功能支持用户直接调用已部署的预置服务,使用步骤如下: 登录ModelArts Studio大模型开发平台,进入所需空间。 单击左侧“能力调测”,进入“文本对话”页签,选择服务与系统人设,参数设置为默认参数,在输入框输入问题,单击“生成”,模型将基于问题进行回答。 图1 使用预置服务进行文本对话 可
情”页签,可获取API的URL。 图1 获取已部署模型的调用路径 若调用预置服务,在“预置服务”页签中,选择所需调用的科学计算大模型,单击“调用路径”,在“调用路径”弹窗获取调用路径。 图2 获取预置服务调用路径 获取Token。参考《API参考》文档“如何调用REST API >
图2 创建其他类数据集发布任务 当前其他类数据集仅支持发布默认格式,选择好数据集的发布格式后,单击“下一步”。 设置数据集的“资产可见性”,填写数据集名称、描述,设置扩展信息后,单击“确认发布”进行数据集发布操作。发布后的数据集支持重新发布和删除操作。 发布后的数据集会作为当前空间的数据资产同步显示在“空间资产
图2 创建预测类数据集发布任务 当前预测类数据集仅支持发布默认格式,选择好数据集的发布格式后,单击“下一步”。 设置数据集的“资产可见性”,填写数据集名称、描述,设置扩展信息后,单击“确认发布”进行数据集发布操作。发布后的数据集支持重新发布和删除操作。 发布后的数据集会作为当前空间的数据资产同步显示在“空间资产
提示词比较支持选择两个候选提示词对其文本和参数进行比较,支持对选择的候选提示词设置相同变量值查看效果。 提示词评估 提示词评估以任务维度管理,支持评估任务的创建、查询、修改、删除。支持创建评估任务,选择候选提示词和需要使用的变量数据集,设置评估算法,执行任务自动化对候选提示词生成结果和结果评估。 提示词管理
学习率设置得过大,使得模型在最优解附近震荡,甚至跳过最优解,导致无法收敛。您可以尝试提升数据质量或者减小学习率的方式来解决。 图3 异常的Loss曲线:上升 Loss曲线平缓,保持高位:Loss保持平缓且保持高位不下降的原因可能是由于目标任务的难度较大,或者模型的学习率设置得过小
本空间”页面,单击操作列“更多 > 导出”。若无导出选项,请确认该空间是否为当前用户创建的空间。 选择需要导出的模型,应设置导出模型时对应的导出位置(OBS桶地址),添加从环境B中下载的用户证书。设置完成后单击“确定”导出模型。 图3 导出模型 导入盘古大模型至其他局点 导入盘古大模型至其他局点前,请确保当前空间为该用户所创建的空间。
数量。 数据量以Token为单位。 流水线并行微批次大小 在流水线并行处理中,通过合理设置并行程度,可以减少各阶段之间的空闲等待时间,从而提升整个流水线的效率。 每个数据并行下的批处理大小 设置在并行训练中,每个微批次包含的数据批量大小,适当的数据批量大小能够确保训练各个阶段都能充分利用计算资源,提升并行效率。
全球中期天气要素预测:通过该模型可以对未来一段时间的天气进行预测。 全球中期降水预测:通过该模型可以对未来一段时间的降水情况进行预测。 模型服务 支持选择用于启动推理作业的模型。 中期天气要素模型包括1h分辨率、3h分辨率、6h分辨率、24小时分辨率模型,即以起报时刻开始,分别可以
当您在中间填充栏填入对应内容时, 右侧代码示例会自动完成参数的组装。 图2 设置输入参数 填写输入参数时,deployment_id为模型部署ID,获取方式如下: 若调用部署后的模型,可在左侧导航栏中选择“模型开发 > 模型部署”,在“我的服务”页签,模型部署列表单击模型名称,在“详情”页签中,可获取模型的部署ID。
操作。 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图3 进入操作空间 单击左侧导航栏的“空间管理”,在“空间设置”页签中可执行如下操作: 可修改当前空间的名称与描述。 可查看当前空间的创建时间。 单击右上角“删除”,可删除当前空间。 删除空间属于高危
规划和分配任务,使团队协作更加高效。 此外,平台配备了完善的角色权限体系,覆盖超级管理员、管理员、模型开发工程师等多种角色。通过灵活的权限设置,每位用户能够在其对应的权限范围内安全高效地操作平台功能,从而最大程度保障数据的安全性与工作效率。 父主题: 创建并管理盘古工作空间
话题重复度控制(presence_penalty) -2~2 0 话题重复度控制主要用于控制模型输出的话题重复程度。 参数设置正值,模型倾向于生成新的、未出现过的内容;参数设置负值,倾向于生成更加固定和统一的内容。 如果您没有专业的调优经验,可以优先使用建议,再结合推理的效果动态调整。 为
工作流”,在所需工作流中单击“ > 复制ID”。 conversation_id 是 String 会话ID,唯一标识每个会话的标识符,可将会话ID设置为任意值,使用标准UUID格式。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String
如果需要模型以某个人设形象回答问题,可以将role参数设置为system。不使用人设时,可设置为user。在一次会话请求中,人设只需要设置一次。 content 是 String 对话的内容,可以是任意文本,单位token。 设置多轮对话时,message中content个数不能超过20。
下参数调试: 表3 推理核心参数设置 推理参数 设置值 最大Token限制(max_token) 4096 温度(temperature) 0.3 核采样(top_p) 1.0 话题重复度控制(presence_penalty) 0 部署推理服务后,可以采用人工评测的方案来评估模
在左侧导航栏中选择“数据工程 > 数据加工”,单击界面右上角“创建加工数据集”。 图2 数据加工 在“创建加工数据集”页面,选择需要加工的气象类数据集,并设置数据集的名称和描述信息。 选择数据集时,默认选择当前空间的数据集。如果用户具备其他空间的访问权限,可以选择来自其他空间的数据集。 图3 创建加工数据集
下参数调试: 表2 推理核心参数设置 推理参数 设置值 最大Token限制(max_token) 1024 温度(temperature) 0.3 核采样(top_p) 0.8 话题重复度控制(presence_penalty) 0 部署推理服务后,可以采用人工评测的方案来评估模
在左侧导航栏中选择“数据工程 > 数据加工”,单击界面右上角“创建加工数据集”。 图2 数据加工 在“创建加工数据集”页面,选择需要加工的视频类数据集,并设置数据集的名称和描述信息。 选择数据集时,默认选择当前空间的数据集。如果用户具备其他空间的访问权限,可以选择来自其他空间的数据集。 图3 创建加工数据集
在左侧导航栏中选择“数据工程 > 数据加工”,单击界面右上角“创建加工数据集”。 图2 数据加工 在“创建加工数据集”页面,选择需要加工的文本类数据集,并设置数据集的名称和描述。 选择数据集时,默认选择当前空间的数据集。如果用户具备其他空间的访问权限,可以选择来自其他空间的数据集。 图3 创建加工数据集