检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置完成后，执行如下命令重启固件： systemctl restart hdad 进入ModelArts服务，选择所需空间。进入“边缘资源池 > 节点”，在当前设备节点操作列单击“激活”，节点状态将从“未激活”转为“已激活”。 进入“边缘资源池 > 资源池”，单击“创建”。填写资源池名称，选择“M
模型压缩”。 单击界面右上角“创建压缩任务”，进入创建压缩任务页面。 图1 模型压缩 选择需要进行压缩的模型执行模型压缩，压缩策略为“INT8”。当压缩模型为N2基础功能模型，或是经有监督微调训练和RLHF训练后的N2模型，支持选择“低消耗模式”，减少推理资源的消耗。 图2 创建压缩任务
单击任务名称查看模型评估任务详情。包含基本信息、评估详情、评估报告、评估日志以及数据配置。 图1 任务详情界面 任务详情： 任务详情中包含打分模式、评估资源、评估模型、任务状态以及模型描述。 图2 任务详情 评估报告： 任务状态为“已完成”时，查看评估报告。评估报告中包含困惑度、评估概览以及模型结果分析。
用户可以将效果较好的提示词设为候选提示词，并对提示词进行比对查看效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”，进入提示词工程页面。 在工程任务列表页面，找到所需要操作的工程任务，单击该工程任务操作栏中的“撰写”。 图1 撰写提示词 在撰写提示词区域单击
准备工作 注册华为账号并开通华为云，并完成实名认证，账号不能处于欠费或冻结状态。 检查开发环境要求，确认本地已具备开发环境。 开通盘古大模型API。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。
助于为新用户查询提供模型上下文。参数设置为10，表示包括5个用户查询和5个系统响应。该参数只涉及多轮对话功能。 体验预置模型文本补全能力 进入“文本补全”页签，选择模型与示例，参数设置为默认参数，在输入框输入问题，单击“生成”，模型将基于问题进行回答。 图2 体验预置模型文本补全能力
创建子用户并授权使用盘古 如果您需要对华为云上购买的盘古资源，为企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（IAM）并结合盘古大模型套件平台提供的“角色管理”功能实现精细的权限管理。 如果华为云账号已经能满足您的要求，不需要创建独立的
即用的强大能力。 体验盘古预置模型能力前，请先完成申请体验盘古大模型服务操作。 登录盘古大模型套件平台，在左侧导航栏中选择“应用百宝箱”，进入“应用百宝箱”页面。 在“应用市场”页签中，选择场景应用，立即体验应用能力。 图1 应用市场页面 图2 体验应用 在“外部应用”页签中，选
即用的强大能力。 体验盘古预置模型能力前，请先完成申请体验盘古大模型服务操作。 登录盘古大模型套件平台，在左侧导航栏中选择“应用百宝箱”，进入“应用百宝箱”页面。 在“应用市场”页签中，选择场景应用，立即体验应用能力。 图1 应用市场页面 图2 体验应用 在“外部应用”页签中，选
助于为新用户查询提供模型上下文。参数设置为10，表示包括5个用户查询和5个系统响应。该参数只涉及多轮对话功能。 体验预置模型文本补全能力 进入“文本补全”页签，选择模型与示例，参数设置为默认参数，在输入框输入问题，单击“生成”，模型将基于问题进行回答。 图2 体验预置模型文本补全能力
撰写提示词前需要先创建提示词工程，用于对提示词的统一管理。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”，进入提示词工程页面。 单击页面右上角“创建工程”，进入工程任务创建弹窗。输入工程名称、描述，选择行业、标签，工程任务下的所有提示词会同步继承该标签。 图1 创建提示词工程
在该页面可以查看评估状态。 图1 查看评估状态 单击评估名称，进入评估任务详情页，可以查看详细的评估进度。例如，在图2中有10条评估用例，当前已经评估了8条，剩余2条待评估。 图2 查看评估进展 评估完成后，进入“评估报告”页面，可以查看每条数据的评估结果。 在评估结果中，“预
个字段，很可能是因为用户使用的jackson版本太老导致。 建议客户本地将jackson版本升级到和华为云java sdk一致，jackson版本要求请见pom.xml。 引用华为云java sdk的bundle包来解决jackson版本冲突的问题。 <dependency>
图1 盘古大模型套件使用流程 表1 使用流程说明 流程 子流程 说明 操作指导 准备工作 注册华为账号并开通华为云 在使用华为云服务之前您需要注册华为账号并开通华为云。 注册华为账号并开通华为云 购买盘古大模型套件 购买盘古系列大模型及推理资产。 购买盘古大模型套件 开通盘古大模型服务
广度的语言学习基础，使其能够生成更加自然、准确且符合语境的文本。 通过对海量数据的深入学习和分析，盘古大模型能够捕捉语言中的细微差别和复杂模式，无论是在词汇使用、语法结构，还是语义理解上，都能达到令人满意的精度。此外，模型具备自我学习和不断进化的能力，随着新数据的持续输入，其性能
审计 云审计服务（Cloud Trace Service，CTS）是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后，CTS可记录用户使用盘古的管理事件和数据事件用于审计。
合规度评分与数据长度分布。 检测数据集质量 在“数据工程 > 数据管理”页面，选择“我的数据集”或者“训练数据集”页签。 单击数据集名称，进入数据集详情页，查看详细的数据质量。 其中，数据长度按照token长度划分为2K以下、2K-4K、4K-8K等多个区间，用户可以参考模型训练
理等功能模块，简化用户的开发工作，帮助用户快速开发一个大模型应用。当前应用开发SDK支持如下语言： Java Python 开发环境要求 华为云盘古大模型应用开发SDK要求JAVA SDK 1.8及其以上版本，Python 3.9及以上版本。 父主题： 盘古应用开发SDK
SDK支持兼容OpenAI-API规范的开源模型。例如，用vllm框架使用OpenAI-API启动推理服务。当前鉴权方式支持AppCode鉴权和华为云的APIG简易认证方式。配置文件需要指定url和key，配置项为： sdk.llm.openai.url=https://infer-a
成以及插件调用等高阶能力。 NLP大模型提供了基模型和功能模型两种类型： 基模型：已经在大量数据上进行了预训练，学习并理解了各种复杂特征和模式。这些模型可以作为其他任务的基础，例如阅读理解、文本生成和情感分析等。基模型本身不具备对话问答能力。 功能模型：在基模型的基础上进行微调，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
