检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
订购服务的用户,具备当前平台下对所有工作空间的所有权限。 管理员 对工作空间有完全访问权,包括查看、创建、编辑或删除(适用时)工作空间中的资产,同时拥有添加、移除所在空间成员以及编辑所在空间成员角色的权限。 模型开发工程师 可以执行模型开发工具链模块的所有操作,但是不能创建或者删除计算资源,也不能修改所在空间本身。
基本概念 账号 用户注册华为云时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户,是云
在提示词“候选”页面,选择质量好的提示词,并单击“保存到模板库”。 图1 保存提示词至模板库 进入“Agent 开发 > 提示词工程 > 提示词模板”页面,查看发布的提示词。 父主题: 开发盘古大模型提示词工程
设置候选提示词 用户可以将效果较好的提示词设为候选提示词,并对提示词进行比对,以查看其效果。 每个工程任务下候选提示词上限9个,达到上限9个时需要删除其他候选提示词才能继续添加。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发
单击左侧导航栏“调用统计”,选择“NLP”页签。 选择当前调用的NLP大模型,可以按照不同时间跨度查看当前模型的调用总数、调用失败的次数、调用的总Tokens数、以及输入输出的Tokens数等基本信息。 此外,该功能还提供了可视化界面,可额外查看响应时长以及安全护栏拦截次数。 父主题: 调用NLP大模型
单击“任务发布”页签,可对用户自行发布的数据集执行以下操作: 查看基本信息。单击具体数据资产,可查看资产的配比详情、数据详情等基本信息。 发布至Gallery。单击操作列的“发布至Gallery”,可发布数据资产至AI Gallery。 查看发布信息。单击“查看发布信息”,查看该资产的发布信息(该操作需提前发布该数据资产至AI
确认训练过程是否出现了过拟合或欠拟合等异常情况。 模型评估:使用平台的“模型评估”功能,“模型评估”将对您之前上传的测试集进行评估。通过查看测试集样本的PPL、BLEU和ROUGE等指标,进行横向(相同训练数据+不同规格的通用模型)或纵向(不同训练数据训练的多个模型版本)对比来判断训练过程是否出现了问题。
32K N4 微调 - 1000条/每场景 ≥ 1万条/每场景 4K版本:4096 32K版本:32768 评测NLP大模型所需数据量 要求所有文本大小最大不超过100MB,目录下文件数量最多不超过100个。数据条数范围为:3-1000条。 构建NLP大模型数据集流程 在ModelArts
Administrator 统一身份认证服务(除切换角色外)所有权限。 图3 添加用户组权限 设置最小授权范围。 根据授权项策略,系统会自动推荐授权范围方案。 可以选择“所有资源”,即用户组内的IAM用户可以基于设置的授权项限使用账号中所有的企业项目、区域项目、全局服务资源。 可以选择“指
预览提示词效果 提示词撰写完成后,可以通过输入具体的变量值,组成完整的提示词,查看不同提示词在模型中的使用效果。 在撰写提示词页面,找到页面右侧变量输入区域,在输入框中输入具体的变量值信息。 输入变量值后预览区域会自动组装展示提示词。也可以直接选择已创建的变量集填入变量值信息,变
效果不理想。这种情况可能是由于以下几个原因导致的,建议您依次排查: 数据格式:多轮问答场景需要按照指定的数据格式来构造,问题需要拼接上历史所有轮对话的问题和回答。比如,当前是第三轮对话,数据中的问题字段需要包含第一轮的问题、第一轮的回答、第二轮的问题、第二轮的回答以及第三轮的问题
模型权重和状态的机制。 关闭:关闭后不保存checkpoints,无法基于checkpoints执行续训操作。 自动:自动保存训练过程中的所有checkpoints。 自定义:根据设置保存指定数量的checkpoints。 训练参数 训练轮数 表示完成全部训练数据集训练的次数。每个轮次都会遍历整个数据集一次。
盘古大模型服务的规格限制详见表1。 表1 规格限制 资产、资源类型 规格 说明 模型资产、数据资源、训练资源、推理资源 所有按需计费、包年/包月中的模型资产、数据资源、训练资源、推理资源。 购买的所有类型的资产与资源仅支持在西南-贵阳一区域使用。 配额限制 盘古大模型服务的配额限制详见表2。 表2 配额限制
理这些特征。 非特征列 列出不需要输入到模型中的特征列,用于排除冗余或无意义的特征。格式为["列名1","列名2"],默认设置为[],表示所有特征都用于训练。 标准化列 指定需要进行最大最小值标准化处理的数值特征的列表。格式为["列名1","列名2"],默认设置为[],表示没有特
在评估页面,可参考评估项对当前数据的问题进行标注,且满足则单击“通过”,不满足则单击“不通过”。 全部数据评估完成后,在“人工评估”页面可查看评估进展为“100%”。 单击操作列“报告”,可查看数据集质量评估报告。 父主题: 发布视频类数据集
如图2,对于文本类数据集而言,可选中问题内容后,右键标记数据问题。 图2 标记数据集问题 全部数据评估完成后,在“人工评估”页面可查看评估进展为“100%”。 单击操作列“报告”,可查看数据集质量评估报告。 父主题: 发布文本类数据集
在评估页面,可参考评估项对当前数据的问题进行标注,且满足则单击“通过”,不满足则单击“不通过”。 全部数据评估完成后,在“人工评估”页面可查看评估进展为“100%”。 单击操作列“报告”,可查看数据集质量评估报告。 父主题: 发布图片类数据集
具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi 支持mp4、avi视频格式上传,所有视频可以放在多个文件夹下,每个文件夹下可以同时包含mp4或avi格式的视频。 单个文件大小不超过50GB,文件数量最多1000个。 事件检测
盘古工作空间支持用户查看当前空间详情,修改空间名称与描述,还可以对不需要的空间实现删除操作。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 单击左侧导航栏的“空间管理”,在“空间设置”页签可执行如下操作: 修改当前空间名称与描述。 可查看当前空间的创建时间。
部署CV大模型 创建CV大模型部署任务 查看CV大模型部署任务详情 管理CV大模型部署任务 父主题: 开发盘古CV大模型