检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
能。 具体订购步骤如下: 使用主账户登录ModelArts Studio大模型开发平台,单击“立即订购”进入“订购”页面。 在“开发场景”中勾选需要订购的大模型(可多选),页面将根据勾选情况适配具体的订购项。 图1 选择开发场景 在“模型资产”页面,参考表1完成模型资产的订购。 表1
数据集流程见表2。 表2 盘古CV大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 导入数据至盘古平台 加工图片、视频类数据集 清洗图片、视频类数据集 通过专用的清洗算子对
调用应用 应用调试成功后,可以使用API调用该应用。 获取调用路径 应用的调用路径获取步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“Agent开发”,跳转至Agent开发平台。 在“工作台 > 应用”页面,单击所需应用的“
据集流程见表3。 表3 盘古NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 导入数据至盘古平台 加工文本类数据集 清洗文本类数据集 通过专用的清洗算子对数据进行预处
着重要作用。用户可以通过提示词工程来提高大语言模型的安全性,还可以赋能大语言模型,如借助专业领域知识和外部工具来增强大语言模型的能力。 提示词基本要素 您可以通过简单的提示词(Prompt)获得大量结果,但结果的质量与您提供的信息数量和完善度有关。一个提示词可以包含您传递到模型的
基于对话问答功能,用户可以与模型进行自然而流畅的对话和交流。 - 通用文本(/text/completions) Java、Python、Go、.NET、NodeJs、PHP 给定一个提示和一些参数,模型会根据这些信息生成一个或多个预测的补全,还可以返回每个位置上不同词语的概率。它可以用来做文本生成、自动写作、代码补全等任务。
绍旅行地的风土人情。请介绍下{{location}}的风土人情。”在评估提示词效果时,可以通过批量替换{{location}}的值,来获得模型回答,提升评测效率。 同时,撰写提示词过程中,可以通过设置模型参数来控制模型的生成行为,如调整温度、核采样、最大Token限制等参数。模型
身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务,有以下两种调用方式: Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。经过认证的请求总是需要
T4压缩策略,可在选择模型后,根据页面展示的策略进行选择。 INT8:该压缩策略将模型参数压缩至8位字节,可以有效降低推理显存占用。 INT4:该压缩策略与INT8相比,可以进一步减少模型的存储空间和计算复杂度。 配置资源。选择计费模式并设置训练单元。 可选择开启订阅提醒。开启后
Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 单击左侧导航栏“调用统计”,选择“NLP”页签。 选择当前调用的NLP大模型,可以按照不同时间跨度查看当前模型的调用总数、调用失败的次数、调用的总Tokens数、以及输入输出的Tokens数等基本信息。 此外,该功能还提
设置候选提示词 用户可以将效果较好的提示词设为候选提示词,并对提示词进行比对,以查看其效果。 每个工程任务下候选提示词上限9个,达到上限9个时需要删除其他候选提示词才能继续添加。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发
任务。 ModelArts Studio大模型开发平台为用户提供了多种规格的CV大模型,以满足不同场景和需求。以下是当前支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。 模型支持区域 模型名称 说明 西南-贵阳一 Pangu-CV-ObjectDetection-N-2
创建提示词工程 通过精心设计和优化提示词,可以引导大模型生成用户期望的输出。提示词工程任务的目标是通过设计和实施一系列的实验,来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程,用于对提示词进行统一管理。 登录ModelArts Studio大模型开发平台,进入所需空间。
导出盘古大模型至其他局点 导出盘古大模型至其他局点前,请确保当前空间为该用户所创建的空间。 模型训练发布完成后,可以通过导出模型功能将本局点训练的模型导出,导出后的模型可以通过导入其他局点盘古大模型,导入至其他局点进行使用。 以从环境A迁移模型到环境B为例: 登录环境B的ModelArts
如何评估微调后的盘古大模型是否正常 评估模型效果的方法有很多,通常可以从以下几个方面来评估模型训练效果: Loss曲线:通过Loss曲线的变化趋势来评估训练效果,确认训练过程是否出现了过拟合或欠拟合等异常情况。 模型评估:使用平台的“模型评估”功能,“模型评估”将对您之前上传的测
据质量标准 V1.0”,单击评估标准名称,可以查看具体的评估项。 图1 预置文本类数据集评估标准 在“人工评估标准”页面,单击“创建标准”,选择预置标准作为参考项,并填写“评估标准名称”和“描述”。 单击“下一步”,编辑评估项。 用户可以基于实际需求删减评估项,或创建自定义评估项
据质量标准 V1.0”,单击评估标准名称,可以查看具体的评估项。 图1 预置视频类数据集评估标准 在“人工评估标准”页面,单击“创建标准”,选择预置标准作为参考项,并填写“评估标准名称”和“描述”。 单击“下一步”,编辑评估项。 用户可以基于实际需求删减评估项,或创建自定义评估项
据质量标准 V1.0”,单击评估标准名称,可以查看具体的评估项。 图1 预置图片类数据集评估标准 在“人工评估标准”页面,单击“创建标准”,选择预置标准作为参考项,并填写“评估标准名称”和“描述”。 单击“下一步”,编辑评估项。 用户可以基于实际需求删减评估项,或创建自定义评估项
构,自定义创建独立的工作空间。 每个工作空间在资产层面完全隔离,确保资产的安全性和操作的独立性,有效避免交叉干扰或权限错配带来的风险。用户可以结合实际使用场景,如不同的项目管理、部门运营或特定的研发需求,划分出多个工作空间,实现资产的精细化管理与有序调配,帮助用户高效地规划和分配任务,使团队协作更加高效。
将“核采样”参数调小至0.1,保持其他参数不变,单击“重新生成”,再单击“重新生成”,可以观察到模型前后两次回复内容的多样性降低。 图4 “核采样”参数为0.1的生成结果1 图5 “核采样”参数为0.1的生成结果2 预置模型部署成功后,可以通过“文本对话”API调用NLP大模型,调用步骤如下: 登录ModelArts