检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建视频类数据集评估标准 ModelArts Studio大模型开发平台针对视频数据集预设了一套评估标准,涵盖了视频的清晰度、帧率、完整性、标签准确性等多个质量维度,用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准,可跳过此章节至创建视频类数据集评估任务。
创建文本类数据集加工任务前,请先完成“原始数据集”的创建与上线,具体步骤请参见导入数据至盘古平台。 创建文本类数据集加工任务步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据加工”,单击界面右上角“创建加工数据集”。
图片类数据集格式要求 ModelArts Studio大模型开发平台支持创建图片类数据集,创建时可导入图片、图片+Caption、图片+QA对三种类型的数据,具体格式要求详见表1。 表1 图片类数据集格式要求 文件内容 文件格式 文件要求 图片 tar、图片目录 图片:支持jpg
创建图片类数据集评估标准 ModelArts Studio大模型开发平台针对图片数据集预设的一套评估标准,涵盖了图像清晰度、分辨率、标签准确性、图像一致性等多个质量维度,用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准,可跳过此章节至创建图片类数据集评估任务。
申请试用盘古大模型服务 盘古大模型为用户提供了服务试用,需提交试用申请,申请通过后试用盘古大模型服务。 登录ModelArts Studio大模型开发平台首页。 在首页单击“试用咨询”,申请试用盘古大模型服务。 图1 申请试用 父主题: 准备工作
成功创建部署任务后,如需修改已部署的模型或配置信息,可以在详情页面单击右上角的“模型更新”或“修改部署”进行调整。更新模型时可以替换模型和修改作业配置参数,但在修改部署时模型不可替换或修改作业配置参数。 在“模型更新”或“修改部署”后进行升级配置操作。平台支持全量升级方式:新旧版本的服务同时
管理盘古数据资产 数据资产介绍 用户发布的数据集会被纳入数据资产,集中存储在空间资产中。平台为数据资产提供了一系列管理功能,包括查看数据集的详细信息、追踪操作记录、以及数据集的删除管理等。这不仅便于用户对已发布数据集的集中管理,还可帮助用户了解每个数据集的使用情况,从而简化数据资
分,凭借其独特的形式和丰富的内容吸引了大量流量,并为企业和个人提供了一个全新的营销平台。短视频用户希望借助大模型快速生成高质量的口播文案,以提升营销效果和效率。在这种场景下,用户只需提供一些基本信息,大模型就能生成需求的文案,从而大大提高文案的质量和效率。 除了短视频风格的口播文
登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,进入模型训练页面,可进行如下操作: 编辑。单击操作列的“编辑”,可以修改模型的checkpoints、训练参数、训练数据以及基本信息等。 启动。单击操作列的“启动”,再单击弹窗的“确定”,可以启动训练任务。
视频类数据集格式要求 ModelArts Studio大模型开发平台支持创建视频类数据集,创建时支持导入mp4或avi格式文件,同一文件夹下mp4或avi格式的所有视频文件会被同时上传导入,具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi
能,单击“下一步”。 图1 选择标注数据集 在“创建标注任务”页面,可配置标注分配、标注审核和标注任务的基本信息,单击“完成创建”。 图2 配置标注分配、标注审核、基本信息 当标注任务状态为“已创建”时,在操作列单击“上线”按钮。 进入“数据标注 > 标注作业”页面,单击标注任务
盘古大模型服务(PanguLargeModels)致力于深耕行业,打造多领域行业大模型和能力集。盘古大模型能力通过ModelArts Studio大模型开发平台承载,它提供了包括盘古大模型在内的多种大模型服务,提供覆盖全生命周期的大模型工具链。 产品介绍 立即使用 在线体验 图说ECS 成长地图 由浅入深,带您玩转盘古大模型
登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“模型开发 > 模型训练”,进入模型训练页面,可进行如下操作: 编辑。单击操作列的“编辑”,可以修改模型的checkpoints、训练参数、训练数据以及基本信息等。 启动。单击操作列的“启
在ModelArts Studio大模型开发平台中,使用数据工程构建盘古NLP大模型数据集流程见表2。 表2 盘古NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建原始数据集 数据集是指用于模型训练或评测的一组相关数据样本,上传至平台的数据将被创建为原始数据集进行统一管理。
使用“能力调测”调用NLP大模型 平台提供的“能力调测”功能支持用户直接调用预置模型或经过训练的模型。使用该功能前,需完成模型的部署操作,详见创建NLP大模型部署任务。 NLP大模型支持文本对话能力,在输入框中输入问题,模型就会返回对应的答案内容。 图1 调测NLP大模型 表1 NLP大模型能力调测参数说明
选择验证集中的部分时间数据,验证集数据不能跟训练集数据重合。 高空层次 设置训练数据的高空层次信息,在“预训练”的场景中也支持您添加或去除新的高空层次,训练任务会根据您配置的高空层次对模型重新进行训练。 高空变量 设置训练数据的高空变量信息,在“预训练”的场景中也支持您添加或去除新的高空变量,选择后会在变量
作业配置参数 设置模型部署参数信息,平台已给出默认值。 架构类型 算法所支持的结构类型,模型选择完成后,会自动适配架构类型。 资源配置 实例数 设置部署模型是所需的实例数,单次部署服务时,部署实例个数建议不大于10,否则可能触发限流导致部署失败。 基本信息 名称 设置部署任务的名称。
压缩方式是INT8,INT8量化压缩可以显著减小模型的存储大小,降低功耗,并提高计算速度。 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“模型开发 > 模型压缩”,单击界面右上角“创建压缩任务”。参考表1创建模型压缩任务。
图2 撰写提示词 撰写完成后,单击“确定”,平台会自动识别插入的变量。提示词中识别的变量将展示在变量定义区域。 变量名称可以进行修改,如添加备注信息以便更好理解变量的作用。 图3 变量定义 变量定义区域展示的是整个工程任务下定义的变量信息,候选提示词中关联的变量也会进行展示,候选提示词相关操作请参见设置候选提示词。
创建文本类数据集标注任务前,请先完成创建文本类数据集加工任务。 创建文本类数据集标注任务步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理”,单击页面右上角“创建标注任务”。 图2