检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建科学计算大模型训练任务 创建科学计算大模型训练任务步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“模型开发 > 模型训练”,单击界面右上角“创建训练任务”。 在“创建训练任务”页面,模型类型选择“科学
包周期资源到期后,如果您想继续使用服务,需要在保留期内进行手动续费,否则不能再对已过保留期的服务进行续费操作,需重新购买对应的服务。了解更多关于续费的信息,请参见续费。 欠费 在使用云服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费后,可能会影响云服务资源的正常运行,需要及时充值。详细介绍请参见欠费说明。
知识型Agent:以大模型为任务执行核心,用户通过配置Prompt、知识库、工具、规划模式等信息,实现工具自主规划与调用,优点是可零码开发,对话过程更为智能,缺点是当大模型受到输入限制,难以执行链路较长且复杂的流程。 流程型Agent:以工作流为任务执行核心,用户通过在画布上对组件进行“拖拉拽”
数据工程使用流程 高质量数据是推动大模型不断迭代和优化的根基,它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据,才能提取出有价值的信息,从而更好地支持模型训练。因此,数据的采集、清洗、标注、评估、发布等环节,成为数据开发中不可或缺的重要步骤。
如果需要将该审核任务移交给其他人员,可以单击操作列“移交”设置移交人员以及移交的数量。 图3 移交审核任务 进入审核页面后,可通过单击“通过”或“不通过”逐一对数据进行审核,直至所有数据审核完成,期间可对不满足要求的数据进行驳回,驳回后将分给标注人员重新标注。 父主题: 标注文本类数据集
如果需要将该审核任务移交给其他人员,可以单击操作列“移交”设置移交人员以及移交的数量。 图3 移交审核任务 进入审核页面后,可通过单击“通过”或“不通过”逐一对数据进行审核,直至所有数据审核完成,期间可对不满足要求的数据进行驳回,驳回后将分给标注人员重新标注。 父主题: 标注视频类数据集
inputs 是 Map<String, Object> 用户提出的问题,作为运行工作流的输入,与工作流开始节点输入参数对应。 plugin_configs 否 List<PluginConfig> 插件配置,当工作流有配置用户自定义插件节点时,可能需要配置鉴权信息等,具体结构定义详见表4。
创建NLP大模型训练任务 创建NLP大模型微调任务 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“模型开发 > 模型训练”,单击界面右上角“创建训练任务”。 在“创建训练任务”页面,模型类型选择“NLP大模型”,训
如果需要将该审核任务移交给其他人员,可以单击操作列“移交”设置移交人员以及移交的数量。 图3 移交审核任务 进入审核页面后,可通过单击“通过”或“不通过”逐一对数据进行审核,直至所有数据审核完成,期间可对不满足要求的数据进行驳回,驳回后将分给标注人员重新标注。 父主题: 标注图片类数据集
评估任务创建成功后,单击操作列“评估”进入评估页面。 图6 评估数据集质量 在评估页面,可参考评估项对当前数据的问题进行标注,且不满足时需要单击“不通过”,满足则单击“通过”。 全部数据评估完成后,评估状态显示为“100%”,表示当前数据集已经评估完成,可以回退到“评估任务”页面,查看,单击操作列“报告”,获取数据集质量评估报告。
性。 通过这些功能,平台不仅降低了标注成本,还为用户提供了灵活的定制化服务,满足不同业务场景的标注需求,确保为后续模型训练和优化提供高质量的数据支持。 数据标注意义 数据标注在数据工程中的作用是不可忽视的。它不仅是模型训练的基础,还直接影响到训练结果的准确性与有效性。通过标注,平
评估任务创建成功后,单击操作列“评估”进入评估页面。 图6 评估数据集质量 在评估页面,可参考评估项对当前数据的问题进行标注,且不满足时需要单击“不通过”,满足则单击“通过”。对于文本类数据集而言,可选择问题内容后,单击鼠标右键进行数据问题的标注。 图7 标记数据集问题 全部数据评估完成后,评估状态
获取视频类数据集评估报告 ModelArts Studio大模型开发平台提供了详细的质量评估报告,帮助用户全面了解数据集的质量情况。获取数据集评估报告步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
获取文本类数据集评估报告 ModelArts Studio大模型开发平台提供了详细的质量评估报告,帮助用户全面了解数据集的质量情况。获取数据集评估报告步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
评估任务创建成功后,单击操作列“评估”进入评估页面。 图6 评估数据集质量 在评估页面,可参考评估项对当前数据的问题进行标注,且不满足时需要单击“不通过”,满足则单击“通过”。 图7 标记数据集问题 全部数据评估完成后,评估状态显示为“100%”,表示当前数据集已经评估完成,可以回退到“评估任务”页
创建工作流时,工作流默认包含了开始、结束和大模型组件,每个组件需要配置不同的参数,如组件配置、输入和输出参数等。基于该工作流,开发者可通过拖、拉、拽可视化组件等方式添加更多的组件,实现复杂业务流程的编排,从而快速构建Agent。 工作流方式主要面向目标任务包含多个复杂步骤、对
个子集。该方法通过创建“预设任务”让模型从数据中学习,从而生成有用的表示,可用于后续任务。它无需额外的人工标签数据,因为监督信号直接从数据本身派生。 有监督学习 有监督学习是机器学习任务的一种。它从有标记的训练数据中推导出预测函数。有标记的训练数据是指每个训练实例都包括输入和期望的输出。
获取图片类数据集评估报告 ModelArts Studio大模型开发平台提供了详细的质量评估报告,帮助用户全面了解数据集的质量情况。获取数据集评估报告步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
下两种方式: 选择“可部分审核”:审核人员确认部分数据达到标注要求后,可以一键通过所有的标注。 选择“全部审核”:审核员在审核一部分数据后,发现标注质量均很高,则可以一键提交剩余待审核数据,默认审核通过,即可完成审核任务。 图4 设置标注人员、标注信息示例 在“标注管理”页面,单
</dependency> Python 使用pip安装。 #回显Successfully installed xxx表示安装成功 # 安装核心库 pip install huaweicloudsdkcore # 安装盘古服务库 pip install huaweicloudsdkpangulargemodels