检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示例如下: {"context": "今天是2023-11-20,你是一个银行智能助理,现在需要根据用户问题、指标-解释表、参数-类型-解释表,生成符合要求格式的json。
模型类型 选择“NLP大模型”。 训练类型 选择“预训练”。 基础模型 选择预训练所需的基础模型,可从“已发布模型”或“未发布模型”中进行选择。 高级设置 checkpoints:在模型训练过程中,用于保存模型权重和状态的机制。
NLP大模型训练类型选择建议 平台针对NLP大模型提供了两种训练类型,包括预训练、微调,二者区别详见表3。
Agent开发平台支持两种类型的插件: 预置插件:平台为开发者和用户提供了预置插件,直接可用,无需额外开发。例如,平台提供的“Python解释器插件”能够根据用户输入的问题自动生成Python代码,并执行该代码获取结果。
科学计算大模型选择建议 科学计算大模型支持训练的模型类型有:全球中期天气要素模型、降水模型、区域中期海洋智能预测模型。
表1 评测数据集格式 模型类型 评测数据集格式 NLP大模型 文本-单轮问答-jsonl格式 上传数据文件后,填写“数据集名称”与“描述”,单击“立即创建”。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”,单击界面右上角“创建流通任务”。
评测配置 评测类型 选择“人工评测”。 评测指标 由用户自定义评测指标并填写评测标准。 评测数据集 待评测的数据集。 评测结果存储位置 模型评测结果的存储位置。 基本信息 评测任务名称 填写评测任务名称。 描述 填写评测任务描述。
// label 表示分类,必须是classes列表中的一个元素,表示该视频片段对应的事件或动作类型。
表2 标注分配与审核配置 参数类型 参数名称 参数说明 标注分配 标注员 添加标注人员与数量。 标注审核 是否审核 否,标注后不进行审核操作。 是,审核员会检查标注员的标注内容,若发现问题,审核员可注明原因并驳回标注数据,标注员需重新标注。 审核员 添加审核人员与数量。
图文文本语言过滤 通过语种识别模型得到图文对的文本语种类型,“待保留语种”之外的图文对数据将被过滤。 图文去重 基于结构化图片去重 判断相同文本对应不同的图片数据是否超过阈值,如果超过则去重。 图片去重 通过把图片结构化处理后,过滤重复的图片/图文对数据。
模型类型 选择“NLP大模型”。 部署模型 选择需要进行部署的模型。 最大TOKEN长度 模型可最大请求的上下文TOKEN数。 部署方式 支持“云上部署”和“边缘部署”,其中,云上部署指算法部署至平台提供的资源池中。
在“创建发布任务”页面,选择数据集模态,如“文本 > 预训练文本”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“基本配置”中选择数据用途、数据集可见性、适用场景。
在“创建发布任务”页面,选择数据集模态,如“图片 > 图片+Caption”类型的数据集。 图3 选择数据集模态 选择数据集,单击“下一步”。 在“基本配置”中选择数据用途、数据集可见性、适用场景。
您可根据真实的任务类型进行调整。一般来说,如果目标任务的需要生成更具多样性的内容,可以使用较大的核采样,反之如果目标任务的需要生成更为确定的内容,可以使用较小的核采样。
您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码。 图1 获取SDK代码示例 当您在中间填充栏填入对应内容时, 右侧代码示例会自动完成参数的组装。
表1 科学计算大模型训练数据要求 模型类别 特征要求 水平分辨率要求 区域范围要求 时间要求 数据获取方式 气象/降水模型 需包含4个表面层特征(10m u风、10m v风、2米温度、海平面气压),13高空层次(1000、925、850、700、600、500、400、300、250
发布数据集 评估数据集 平台预置了多种数据类型的基础评估标准,包括NLP、视频和图片数据,用户可根据需求选择预置标准或自定义评估标准,从而精确优化数据质量,确保数据满足高标准,提升模型性能。
语种过滤 通过语种识别模型得到文档的语言类型,筛选所需语种的文档。 全局文本去重 检测并去除数据中重复或高度相似的文本,防止模型过拟合或泛化性降低。 数据打标 预训练文本分类 针对预训练文本进行内容分类,例如新闻、教育、健康等类别,支持分析语种包括:中文、英文。
扰动类型 用于选择生成集合预报初始场的扰动类型,包括perlin加噪和CNOP加噪两种方式。 Peilin噪音通过对输入数据(比如空间坐标)进行随机扰动,让模拟出的天气接近真实世界中的变化。
输入模型对应的obs地址和模型命名、选择资源类型、输入资产描述并设置资产可见性后,单击“确定”,启动导入模型任务。 图3 导入模型 父主题: 管理盘古大模型空间资产