检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
附加请求头字段,如指定的URI和HTTP方法所要求的字段。例如,定义消息体类型的请求头“Content-Type”,请求鉴权信息等。 以下公共消息头需要添加到请求中。 Content-Type:消息体的类型(格式),必选,默认取值为“application/json”。 X-Au
模型名称 说明 西南-贵阳一 Pangu-Predict-Table-Cla-2.0.0 2024年12月发布的版本,支持分析历史数据中的特征与类别的关系,学习出一种映射规则或函数,然后应用这个规则对未来未知的数据点进行分类。 Pangu-Predict-Table-Reg-2.0.0
密协作,快速响应不断变化的业务需求和技术要求。 平台支持的数据类型 ModelArts Studio大模型开发平台支持的数据类型见表1,各类型数据格式详细要求请参考数据集格式要求。 表1 平台支持的数据类型 数据类型 数据内容 支持的文件格式 文本类 文档 txt、mobi、epub、docx、pdf
规格限制 资产、资源类型 规格 说明 模型资产、数据资源、训练资源、推理资源 所有按需计费、包年/包月中的模型资产、数据资源、训练资源、推理资源。 购买的所有类型的资产与资源仅支持在西南-贵阳一区域使用。 配额限制 盘古大模型服务的配额限制详见表2。 表2 配额限制 资源类型 默认配额限制
NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集,数据集文件内容包括:预训练文本、单轮问答、多轮问答、带人设单轮问答、带人设多轮问答等,不同训练方式所需要使用的数据见表1,该数据集格式要求请参见文本类数据集格式要求。 表1 训练NLP大模型数据集类型要求 基模型 训练场景
发布格式,保证数据的兼容性与一致性,从而为后续模型训练和应用部署打下坚实基础。 支持数据发布的数据集类型 支持数据发布的数据集类型见表1。 表1 支持数据发布的数据集类型 数据类型 数据评估 数据配比 数据流通 文本类 √ √ √ 图片类 √ √ √ 视频类 √ - √ 气象类 -
使用API调用Token计算器,详见《API参考》“API > Token计算器”。 NLP大模型训练类型选择建议 平台针对NLP大模型提供了两种训练类型,包括预训练、微调,二者区别详见表3。 表3 预训练、微调训练类型区别 训练方式 训练目的 训练数据 模型效果 应用场景举例 预训练 关注通用性:预
值要限定在参数-类型-解释表中\n\n以下是你的思考过程:\n步骤1.根据用户问题从指标-解释表中得到metrics中caption的值,格式为:\"metrics\":[{\"caption\":\"xx\"}],不要超过两个\n步骤2.根据用户问题从参数-类型-解释表中得到d
使用数据工程构建CV大模型数据集 CV大模型支持接入的数据集类型 盘古CV大模型支持接入图片类、视频类、其他类数据集,,不同模型所需数据见表1,数据集格式要求请参见图片类数据集格式要求、视频类数据集格式要求、其他类数据集格式要求。 表1 训练CV大模型数据集类型要求 基模型 训练场景 文件内容 文件格式
dataset file type does not match standard file type. 请检查上传的数据集文件类型与平台要求的标准文件类型是否一致。 data management query dataset data invalid. 请检查数据集中是否有异常格式的数据。
2024年11月发布的版本,支持在线推理、能力调测特性,可支持1个实例部署推理。 科学计算大模型训练类型选择建议 目前,全球中期天气要素模型提供训练功能和推理功能,降水模型仅提供推理功能。 全球中期天气要素预测模型的训练类型选择建议: 全球中期天气要素预测模型的训练支持预训练、微调两种操作,如果直接使
接口的响应体需要按照jsonpath语法要求进行填写,jsonpath语法的作用是从响应体的json字段中提取出所需的数据。 评测配置 评测类型 选择“自动评测”。 评测规则 选择“基于规则”。 评测数据集 评测模板:使用预置的专业数据集进行评测。 单个评测集:由用户指定评测指标(
上下文:包含外部信息或额外的上下文信息,引导语言模型更好地响应。 输入数据:用户输入的内容或问题。 输出指示:指定输出的类型或格式。 提示词所需的格式取决于您希望语言模型完成的任务类型,并非所有以上要素都是必须的。 提示词工程使用流程 ModelArts Studio大模型开发平台可以辅助用
签,单击右上角“创建知识库”。 在“创建知识库”页面,填写知识库名称与描述,单击图片可上传知识库图标,单击“下一步”。 在“文件类型”页面,选择文件类型。 导入文本文档数据。支持上传txt、doc、docx、pdf、ppt、pptx格式的文本文档,要求单个文件不超过10M。 导入
将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 加工数据集 清洗数据集 通过专用的清洗算子对数据进行预处理,确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子,例如去除噪声、冗余信息等,提升数据质量。 合成数据集 利用预置或自定义的数据指令对原始数据进行处理,并根据设定
Explorer可根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码。 图1 获取SDK代码示例 当您在中间填充栏填入对应内容时, 右侧代码示例会自动完成参数的组装。 图2 设置输入参数 填写输
数据量和质量均满足要求,为什么盘古大模型微调效果不好 这种情况可能是由于以下原因导致的,建议您排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或
为什么微调后的盘古大模型的回答会异常中断 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成的结果不完整,出现了异常截断。这种情况可能是由于以下几个原因导致的,建议您依次排查: 推理参数设置:请检查推理参数中的“最大Token限制”参数的设置,适当增加该参数的值,可
配置服务访问授权 配置OBS访问授权 ModelArts Studio大模型开发平台使用对象存储服务(Object Storage Service,简称OBS)进行数据存储,实现安全、高可靠和低成本的存储需求。因此,为了能够顺利进行存储数据、训练模型等操作,需要用户配置访问OBS服务的权限。
在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”,单击界面右上角“创建流通任务”。 在“创建流通任务”页面,选择数据集模态,如“视频 > 仅视频”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“格式配置”选择发布格式。当前视频类数据集仅支持发布默认格式。 填写数据