检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
申请试用盘古大模型服务 盘古大模型为用户提供了服务试用,用户可根据所需提交试用申请,申请通过后才可以试用盘古大模型功能。 申请试用盘古大模型服务 配置服务访问授权 为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。 配置服务访问授权 创建并管理盘古工作空间 平台支持用户自定义创建工作空间,并进行空间的统一管理。
基本概念 账号 用户注册华为云时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的
使用API调用NLP大模型 模型部署成功后,可以通过“文本对话”API调用NLP大模型。 表1 NLP大模型API清单 API分类 API访问路径(URI) 文本对话 /v1/{project_id}/deployments/{deployment_id}/chat/completions 登录ModelArts
准备工作 申请试用盘古大模型服务 配置服务访问授权 创建并管理盘古工作空间
选择数据集时,默认选择当前空间的数据集。如果用户具备其他空间的访问权限,可以选择来自其他空间的数据集。 图3 创建加工数据集 单击“下一步”进入“算子编排”页面。对于视频类数据集,可选择的加工算子及参数配置请参见表1。 在左侧“添加算子”模块勾选所需算子。 在右侧“加工步骤编排”页面配置各算子的参数,可通
选择数据集时,默认选择当前空间的数据集。如果用户具备其他空间的访问权限,可以选择来自其他空间的数据集。 图3 创建加工数据集 单击“下一步”进入“算子编排”页面。对于气象类数据集,可选择的加工算子及参数配置请参见表1。 在左侧“添加算子”模块勾选所需算子。 在右侧“加工步骤编排”页面配置各算子的参数,可通
State Transfer)风格的API,支持您通过HTTPS请求调用,调用方法请参见如何调用REST API。 调用API时,需要用户网络可以访问公网。 父主题: 使用前必读
选择数据集时,默认选择当前空间的数据集。如果用户具备其他空间的访问权限,可以选择来自其他空间的数据集。 图3 创建加工数据集 单击“下一步”进入“算子编排”页面。对于图片类数据集,可选择的加工算子及参数配置请参见表1、表2。 在左侧“添加算子”模块勾选所需算子。 在右侧“加工步骤编排”页面配置各算子的参数,可
URI-scheme 传输请求的协议,当前所有API均采用HTTPS协议。 Endpoint 承载REST服务端点的服务器域名或IP。 resource-path 资源路径,即API访问路径。从具体API的URI模块获取。 query-string 查询参数,可选,查询参数前面需要带一个“?”,形式为“参数名=参数取值”。
使用“能力调测”调用科学计算大模型 平台提供的“能力调测”功能支持用户直接调用预置模型或经过训练的模型。使用该功能前,需完成模型的部署操作,详见创建科学计算大模型部署任务。 科学计算大模型支持全球中期天气要素预测、全球中期降水预测、全球海洋要素、区域海洋要素、全球海洋生态、全球海
当前空间数据集,如果用户具备其他空间的访问权限,可以选择来自其他空间的数据集。 若选择发布方式为“单个数据集”,选择数据集后,单击“下一步”。 图3 发布方式1 若选择发布方式为“混合数据集”,勾选多个数据集后,单击“下一步”。在“已选择数据集配比”中,用户可以设置从数据集中抽取
当前空间数据集,如果用户具备其他空间的访问权限,可以选择来自其他空间的数据集。 若选择发布方式为“单个数据集”,选择数据集后,单击“下一步”。 图3 发布方式1 若选择发布方式为“混合数据集”,勾选多个数据集后,单击“下一步”。在“已选择数据集配比”中,用户可以设置从数据集中抽取
进入应用详情页面。 图1 填写应用名称与应用描述 图2 创建应用 配置Prompt builder,详见配置Prompt builder。 配置插件,详见配置插件。 配置知识,详见配置知识。 配置对话,详见配置开场白和推荐问题。 调试Agent应用,详见调试Agent应用。 A
选择数据集时,默认选择当前空间的数据集。如果用户具备其他空间的访问权限,可以选择来自其他空间的数据集。 图3 创建加工数据集 单击“下一步”进入“算子编排”页面。对于文本类数据集,可选择预置加工算子,请参见文本类加工算子能力清单。 在左侧“添加算子”模块勾选所需算子。 在右侧“加工步骤编排”页面配置各算子的参数
开始:工作流的入口组件,该组件的配置详见配置开始组件。 结束:输出工作流的执行结果,该组件的配置详见配置结束组件。 LLM:初始化完成的大模型节点,没有额外的Prompt配置,直接接受用户原始输入,并输出大模型执行后的原始输出,该组件的配置详见配置大模型组件。 用户可根据需求配置所需组件,并连接
此示例演示了如何快速创建图片Caption数据标注任务。您将学习如何设置任务参数、配置标注要求并进行标注。 准备工作 请提前准备数据并上传至OBS服务,上传步骤请详见通过控制台快速使用OBS。 操作流程 登录ModelArts Studio大模型开发平台,进入所需空间。 选择左侧“数据工程
压缩NLP大模型 模型在部署前,通过模型压缩可以降低推理显存占用,节省推理资源提高推理性能。当前仅支持对NLP大模型进行压缩。采用的压缩方式是INT8,INT8量化压缩可以显著减小模型的存储大小,降低功耗,并提高计算速度。 登录ModelArts Studio大模型开发平台,进入所需操作空间。
盘古大模型的模型订阅服务、数据托管服务、推理服务默认采用包周期计费,数据智算服务、数据通算服务、训练服务默认采用按需计费。 盘古大模型使用周期内不支持变更配置。
管理盘古模型资产 模型资产介绍 用户在平台中可试用、订购或训练后发布的模型,将被视为模型资产并存储在空间资产内,方便统一管理与操作。用户可以查看模型的所有历史版本及操作记录,从而追踪模型的演变过程。同时,平台支持一系列便捷操作,包括模型训练、压缩和部署,帮助用户简化模型开发及应用流程。这
实现资源的有序管理与优化配置,确保各类资源在不同场景中的最大化利用。为进一步优化资源的管理,平台还提供了多种角色权限体系。用户可以根据自身角色从管理者到各模块人员进行不同层级的权限配置,确保每个用户在其指定的工作空间内,拥有合适的访问与操作权限。这种精细化的权限管理方式,既保证