检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
工作流 Token计算器 为了帮助用户更好地管理和优化Token消耗,平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量,提供费用预估,并优化数据预处理策略。
表2 配额限制 资源类型 默认配额限制 是否支持调整 模型实例 ModelArts Studio平台上,单个用户最多可创建和管理2000个模型实例。 是 如果希望申请提升配额,请联系客服。 功能限制 盘古大模型服务的功能限制详见表3。
统一管,资产管理“全” ModelArts Studio大模型开发平台数据、模型、Agent应用在统一的入口进行管理,可以快速的掌握资产的使用情况、版本情况和溯源信息等。
平台提供导入知识功能,支持用户存储和管理数据,并与AI应用进行互动。支持多种格式的本地文档(如docx、pptx、pdf等),方便导入至知识,为Agent应用提供个性化数据支持。 平台还提供全链路信息观测和调试工具,支持开发者深入分析Agent执行过程中的每个环节。
plugin_id参数为插件ID,获取方式详见管理插件。
参数校验:可自定义参数校验规则对输出参数规范性进行校验。规则包括参数名称、校验类型及校验规则。 是否提取:开启后该参数必须提取到或使用默认值,关闭则该参数允许为空或者使用默认值。
图1 数据集构建流程图 表1 数据集构建流程表 流程 子流程 说明 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 加工数据集 清洗数据集 通过专用的清洗算子对数据进行预处理,确保数据符合模型训练的标准和业务需求。
自定义知识库:平台提供了知识库功能来管理和存储数据,支持为AI应用提供自定义数据,并与之进行互动。多种格式的本地文档(支持docx、pptx、pdf等)都可以导入至知识库。 灵活的工作流设计:平台提供灵活的工作流设计,用于开发者处理逻辑复杂、且有较高稳定性要求的任务流。
通过降水模型预测未来的降雨情况,农民和农业管理者可以更有效地规划灌溉时间和频率,也能为可能发生的干旱提供预警,使农业部门能够及时采取措施,如推广节水技术或调整种植计划。 代码助手 在软件开发领域,编程语言的多样性和复杂性给程序员带来了巨大的挑战。
在左侧导航栏中选择“数据工程 > 数据管理 > 数据指令”,在“自定义”页签,单击“创建指令”。 在“创建指令”弹窗中,输入名称、类型,选择用途与描述,单击“确定”,进入配置合成指令页面。
表2 盘古CV大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。
表3 盘古NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。
通过这些功能,平台能够帮助用户科学管理和发布数据集,确保数据集质量符合大模型训练的需求,从而提高后续模型训练的效果。 数据发布意义 数据发布不仅仅是将数据转换为不同格式,还包括根据任务需求评估数据集效果并调整数据比例,确保数据在规模、质量和内容上满足训练标准。
表2 盘古科学计算大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。
准备工作 申请试用盘古大模型服务 订购盘古大模型服务 配置服务访问授权 创建并管理盘古工作空间 04 AI一站式流程 通过一站式流程,完成从数据导入、数据加工、数据发布、模型训练、模型压缩、模型部署、模型评测到模型调用,全面掌握盘古大模型的开发过程。
LAND_MASK:一个二维数组,表示模型网格中每个单元格是否是陆地。 SOIL_TYPE:表示地表土壤分类,影响土壤的物理和化学特性,如水分保持能力、热容量和导热性。 模型输出控制参数 训练轮数 表示完成全部训练数据集训练的次数。每个轮次都会遍历整个数据集一次。