检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
项目id。 图2 获取项目ID 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。 调用API获取项目ID 项目ID还可通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{En
数据资产:数据资产是指用户在平台上发布的所有数据集。这些数据集会被存储在数据资产中,用户可以随时查看数据集的详细信息,如数据格式、大小、配比比例等,同时平台会自动记录每个数据集的操作历史,例如创建、发布及上线等过程。为了进一步简化管理,平台还支持数据集的删除功能,使用户能够对数据集进行灵活管理和调整。在模型训
预付费,按照订单的购买周期结算 1个月~1年 数据服务 数据智算服务 按需计费 智算单元 后付费,根据服务实际消耗量计费 按实际任务时长,时长精确到秒。 数据通算服务 按需计费 通算单元 后付费,根据服务实际消耗量计费 按实际任务时长,时长精确到秒。 数据托管服务 包周期计费 托管单元 预付费,按照订单的购买周期结算
当大模型组件的输出为json格式的数据时,可以通过配置输出参数来解析出json中对应字段的值。例如大模型组件的输出为json数据'{"result": "test"}'时,可以添加一个参数名称为“result”的输出参数,那么输出参数“result”就会从json数据中取出同名字段对应的值“test”。
数据保护技术 盘古大模型服务通过多种数据保护手段和特性,保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密(HTTPS) 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数
创建原始数据集 数据集是指用于模型训练或评测的一组相关数据样本,上传至平台的数据将被创建为原始数据集进行统一管理。 上线原始数据集 在正式发布数据集前,需要执行上线操作。 加工数据集(可选) 创建数据集加工任务 数据集中若存在异常数据,可通过数据集加工功能去除异常字符、表情符号、个人敏感内容等。
单击创建好的空间,进入ModelArts Studio大模型开发平台,平台支持数据工程、模型开发、Agent开发等功能。 如果用户具备多个空间的访问权限,可在页面左上角单击切换空间。 图2 切换空间 管理盘古工作空间 盘古工作空间支持用户查看当前空间详情,修改空间名称与描述,还可以对不需要的空间实现删除操作。
模型评估:使用平台的“模型评估”功能,“模型评估”将对您之前上传的测试集进行评估。通过查看测试集样本的PPL、BLEU和ROUGE等指标,进行横向(相同训练数据+不同规格的通用模型)或纵向(不同训练数据训练的多个模型版本)对比来判断训练过程是否出现了问题。 人工评测:您可以采用人工评
置的Python解释器预置插件。 “Python解释器插件”能够执行用户输入的Python代码,并获取结果。此插件为应用提供了强大的计算、数据处理和分析功能,用户只需将其添加到应用中,即可扩展功能。 准备工作 请确保您有预置的NLP大模型,并已完成模型的部署操作,详见《用户指南》“开发盘古NLP大模型
”。在候选列表中,勾选需要进行横向比对的提示词,并单击“创建评估”。 图1 创建评估 选择评估使用的变量数据集和评估方法。 评估用例集:根据选择的数据集,将待评估的提示词和数据集中的变量自动组装成完整的提示词,输入模型生成结果。 评估方法:根据选择的评估方法,对模型生成结果和预期
加,最后单击“确定”。若想创建插件可单击右上角“创建插件”,创建插件的步骤请参见创建插件。 图2 添加插件 添加插件后,可在“高级配置”中查看当前已添加的插件。 创建插件 创建插件的步骤如下: 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择
大模型使用类问题 盘古大模型是否可以自定义人设 如何将本地的数据上传至平台 导入数据过程中,为什么无法选中OBS的具体文件进行上传 如何查看预置模型的历史版本
批量评估提示词效果 创建提示词评估数据集 创建提示词评估任务 查看提示词评估结果 父主题: 开发盘古大模型提示词工程
具备。 评估作业员 拥有数据工程数据评估-评估作业模块的所有权限,其余角色不具备。 数据导入员 拥有数据工程数据获取-数据导入模块的所有权限,其余角色不具备。 数据加工员 拥有数据工程数据加工模块的所有权限,其余角色不具备。 数据发布员 拥有数据工程数据发布模块的所有权限,其余角色不具备。
开场白和推荐问题”中,可输入自定义开场白,也可单击“智能添加”。 在推荐问中单击“添加”,可增加推荐问数量。添加后可在右侧“预览调试”中查看相应效果。 最多可以添加3个推荐问。 图1 预览调试查看开场白与推荐问效果 父主题: 手工编排Agent应用
应用提示词生成面试题目 应用场景说明:将面试者的简历信息输入给大模型,基于简历生成面试问题,用于辅助人工面试或实现自动化面试。 父主题: 提示词应用示例
用,充分释放盘古大模型的潜力,为业务创新提供强大支持。 使用流程 ModelArts Studio大模型开发平台使用流程 数据工程 使用数据工程准备与处理数据集 模型开发 开发盘古NLP大模型 开发盘古科学计算大模型 应用开发 开发盘古大模型提示词工程 开发盘古大模型Agent应用
知识”,单击“添加”。 在“添加知识”窗口,单击“点此上传”,上传知识文件。 图1 添加知识 上传完成后,单击“确定”。 在“高级配置”中,可查看上传成功的知识文件。 图2 知识上传成功 父主题: 手工编排Agent应用
上传文件限xlsx格式。 数据行数不小于10行,不大于50行。 数据不允许相同表头,表头数量小于20个。 数据单条文本长度不超过1000。 创建数据集时会对相关限制条件进行校验。 数据参考格式如下: 图1 数据参考格式 图2 数据示例 创建提示词评估数据集 登录ModelArts
数据量足够,为什么盘古大模型微调效果仍然不好 这种情况可能是由于以下原因导致的,建议您排查: 数据质量:请检查训练数据的质量,若训练样本和目标任务不一致或者分布差异较大、样本中存在异常数据、样本的多样性较差,都将影响模型训练的效果,建议提升您的数据质量。 父主题: 大模型微调训练类问题