检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
证。 登录“我的凭证”页面，获取“IAM用户名”、“账号名”以及待使用区域的“项目ID”。调用服务时会用到这些信息，请提前保存。 由于盘古大模型当前部署在“西南-贵阳一”区域，需要获取与“西南-贵阳一”区域对应的project id。 图1 获取user name、domain name、project
数据工程是ModelArts Studio大模型开发平台（下文简称“平台”）为用户提供的一站式数据处理与管理功能，旨在通过系统化的数据获取、加工、发布等过程，确保数据能够高效、准确地为大模型的训练提供支持，帮助用户高效管理和处理数据，提升数据质量和处理效率，为大模型开发提供坚实的数据基础。 数据工程包含的具体功能如下：
如何利用提示词提高大模型在难度较高推理任务中的准确率 可以通过思维链的方式提高大模型在复杂推理任务中的准确率。 思维链是一种通过分步骤推理来提升大模型在复杂任务中表现的方法。通过引导模型思考问题的过程，可以使其在推理任务中得到更高的准确性，尤其是在涉及多步推理和复杂逻辑关系的任务中。 具体做法如下：
获取模型部署ID 模型部署ID获取步骤如下： 登录ModelArts Studio大模型开发平台。 获取模型请求URI。 若调用部署后的模型，可在左侧导航栏中选择“模型开发 > 模型部署”，在“我的服务”页签，模型部署列表单击模型名称，在“详情”页签中，可获取模型的部署ID。 图1
请求URI 服务的请求URI即API服务的终端地址，通过该地址与API进行通信和交互。 URI获取步骤如下： 登录ModelArts Studio大模型开发平台。 进入所需工作空间。 获取请求URI。 获取模型请求URI。 若调用部署后的模型，可在左侧导航栏中选择“模型开发 > 模型部署
确而全面的回答。然而，依赖通用大模型自身知识来回答问题，在某些垂直领域应用中会面临挑战： 通用大模型的原始训练语料中针对特定垂直领域的数据较少，导致在这些领域的问答表现不佳。 某些垂直领域拥有大量高价值的私有数据，但这些数据未被通用大模型吸纳。 大模型在训练完成后难以快速有效地更
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
合成文本类数据集任务前，请先完成数据导入操作，具体步骤请参见导入数据至盘古平台。 创建文本类数据集合成任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 数据合成”，单击界面右上角“创建合成任务”。
使用该鉴权方式前，请确保有已部署的大模型。 获取APPCode步骤如下： 登录ModelArts Studio平台，进入所需空间。 在左侧导航栏中选择“模型开发 > 应用接入”，单击界面右上角“创建应用接入”。 在“应用配置”中，选择已部署好的大模型，单击“确定”。 在“应用接入”列表的“APP
The accessed API's model instance is not public. API模型实例未公开。 请检查是否具备盘古大模型服务的使用权限，或联系服务运维人员协助解决。 PANGU.3316 create agency fail. 创建代理失败。 请联系服务运维人员协助解决。
数据工程使用流程 高质量数据是推动大模型不断迭代和优化的根基，它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据，才能提取出有价值的信息，从而更好地支持模型训练。因此，数据的采集、清洗、标注、评估、发布等环节，成为数据开发中不可或缺的重要步骤。
登录ModelArts Studio大模型开发平台，进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“创建部署”。 在“创建部署”页面，参考表1完成部署参数设置。 表1 专业大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型
管理专业大模型部署任务 模型更新 完成创建专业大模型部署任务后，可以替换已部署的模型并升级配置，具体步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，单击模型名称，进入模型详情页面。 单击右
标注图片类数据集任务前，请先完成数据导入操作，具体步骤请参见导入数据至盘古平台。 创建图片类数据集标注任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 数据标注”，单击页面右上角“创建标注任务”。
jsonl格式：text表示预训练所使用的文本数据，具体格式示例如下： {"text":"盘古大模型，是华为推出的盘古系列AI大模型，包括NLP大模型、多模态大模型、CV大模型、科学计算大模型、预测大模型。"} 单个文件大小不超过50GB，文件数量最多1000个。。 单轮问答 jsonl、csv
节点。 大模型节点：如果用户的意图属于“其他”意图分支（如普通对话），则文本将被引导到大模型节点。大模型节点基于预训练的盘古NLP大模型生成响应，从而实现自然语言理解和生成。完成后，结果传递给结束节点。 结束节点：工作流的终结节点，负责输出最终结果。无论是翻译结果还是大模型生成的回答，都会通过该节点输出给用户。
）进行权限管理，您可以跳过本章节，不影响您使用盘古的其他功能。 您可以使用统一身份认证服务（IAM）并结合ModelArts Studio大模型开发平台提供的“成员管理”功能实现子用户精细的权限管理。 创建用户组 管理员可以创建用户组，并给用户组授予策略或角色，然后将用户加入用户组，使得用户组中的用户获得相应的权限。
试运行工作流-1 其他意图：用户其他的请求（除翻译请求外）将执行大模型节点分支，并根据用户的提问进行回答。 如图2，当用户输入对话类问题时（如“你好”），“意图识别”节点对用户的意图分类为“其他”，此时工作流将运行“大模型”节点分支，输出“大模型”节点的回答。 图2 试运行工作流-2 多场景测
微调数据来源： 来源一：真实业务场景数据。 来源二：基于大模型的数据泛化。基于目标场任务的分析，通过人工标注部分数据样例，然后利用大模型（如盘古提供的任意规格的基础功能模型）采用self-instruct等方式，泛化出更多的业务场景数据。 方法一：在大模型输入的Prompt中包含“人设赋予”、
科技行业公司的总利润和市值是多少？ … 来源四：基于大模型的数据泛化。基于目标场任务的分析，通过人工标注部分数据样例，再基于大模型（比如盘古提供的任意一个规格的基础功能模型）采用self-instruct等方式泛化出更多的业务场景数据。示例如下： 大模型输入： 请改写命令案例，生成10个相似
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
