检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SDK支持兼容OpenAI-API规范的开源模型。例如，用vllm框架使用OpenAI-API启动推理服务。当前鉴权方式支持AppCode鉴权和华为云的APIG简易认证方式。配置文件需要指定url和key，配置项为： sdk.llm.openai.url=https://infer-app-modelarts-cn-southwest-2
统计模型调用量 模型调用成功后，有两种方式可以查看模型的调用量。 通过“服务管理”功能查看调用量：查看具体某个模型的调用总量、调用成功量、调用失败量，且可按时间进行筛选。 通过“运营面板”功能查看调用量：查看全部模型访问总数、模型回复时的响应时长、兜底回复比例以及输入/输出token信息。
实例化Agent Agent实例化过程包括注册LLM和注册工具两个部分。 from pangukitsappdev.agent.react_pangu_agent import ReactPanguAgent from pangukitsappdev.api.llms.factory
最新动态 本文介绍了盘古大模型各特性版本的功能发布和对应的文档动态，新特性将在各个区域（Region）陆续发布，欢迎体验。 2024年9月 序号 功能名称 功能描述 阶段 相关文档 1 盘古大模型正式公测上线 盘古大模型是集数据管理、模型训练和模型部署于一体的一站式大模型开发与应用平台。
大模型的计量单位token指的是什么 令牌（Token）是指模型处理和生成文本的基本单位。token可以是词或者字符的片段。模型的输入和输出的文本都会被转换成token，然后根据模型的概率分布进行采样或计算。 例如，在英文中，有些组合单词会根据语义拆分，如overweight会被
bbs.huaweicloud.com/videos/102987 。 请求示例如下图所示，一个请求主要有请求URI、请求方法、请求消息头和请求消息体组成，各个部分将在下文详细解释。 图1 请求示例图 请求URI 请求URI由如下部分组成。 {URI-scheme} :// {Endpoint}
务列表中申请需要开通的服务。 文本补全：给定一个提示和一些参数，模型会根据这些信息生成一个或多个预测的补全。例如让模型依据要求写邮件、做摘要总结、生成观点见解等。 多轮对话：基于对话问答功能，用户可以与模型进行自然而流畅的对话和交流。 图1 服务管理 图2 申请开通服务 您可按照需要选择是否开启内容审核。
当出现第三方库冲突的时，如Jackson，okhttp3版本冲突等。可以引入如下bundle包(3.0.40-rc版本后)，该包包含所有支持的服务和重定向了SDK依赖的第三方软件，避免和业务自身依赖的库产生冲突： <dependency> <groupId>com.huaweicloud.sdk</groupId>
盘古大模型套件在订购时分为模型资产和模型推理资产。 模型资产即盘古系列大模型，用户可以订购盘古基模型、功能模型、专业大模型。 基模型：基模型经过大规模数据的预训练，能够学习并理解多种复杂特征和模式。这些模型可作为各种任务的基础，包括但不限于阅读理解、文本生成和情感分析等，但不具备对话问答能力。
创建提示词工程 通过精心设计和优化提示词，可以引导大模型生成用户期望的输出，提示词工程任务的目标是通过设计和实施一系列的实验，来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程，用于对提示词的统一管理。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
将签名信息添加到消息头，从而通过身份认证。 AK(Access Key ID)：访问密钥ID。与私有访问密钥关联的唯一标识符；访问密钥ID和私有访问密钥一起使用，对请求进行加密签名。 SK(Secret Access Key)：与访问密钥ID结合使用的密钥，对请求进行加密签名，可标识发送方，并防止请求被修改。
根据智能客服场景，建议从以下方面考虑： 根据企业实际服务的场景和积累的数据量，评估是否需要构建行业模型，如电商、金融等。 根据每个客户的金牌客服话术，可以对对话模型进行有监督微调，进一步优化其性能。 根据每个客户的实际对话知识，如帮助文档、案例库和FAQ库等，可以使用“先搜后推”的解决方案。客户
AI助手是一种基于NLP大模型构建的人工智能应用，它通过结合多种工具并利用大模型的对话问答、规划推理、逻辑判断等能力，来理解和回应用户的需求。 例如，需要构建一个企业助理应用，该应用需要具备预定会议室、创建在线文档和查询报销信息等功能。在构建此应用时，需要将预定会议室与创建在线文档等功能的API接口定义为一系
实例化Agent Agent实例化过程包括注册LLM和注册工具两个部分。 import com.huaweicloud.pangu.dev.sdk.agent.ReactPanguAgent; import com.huaweicloud.pangu.dev.sdk.api.llms
进行深度分析和理解。它能够精准识别用户的意图和需求，即使是复杂或模糊的查询，也能提供准确的响应。这种对话问答方式提高了知识获取效率，使智能客服系统更加人性化和有温度。 此外，盘古大模型还能够根据用户的行为和反馈不断学习和优化，进一步提升服务能力。它能识别用户的情绪和语气，调整回答
提示词是用来引导模型生成的一段文本。撰写的提示词应该包含任务或领域的关键信息，如主题、风格和格式等。 撰写提示词时，可以设置提示词变量，即在提示词中通过添加占位符{{ }}标识，表示一些动态的信息，让模型根据不同的情况生成不同的文本，增加模型的灵活性和适应性。例如，将提示词设置为“你是一个旅游助手，需要给用户介
下游任务的基础模型。学术界和工业界的实践证明，随着模型参数规模的增加，自然语言处理下游任务的效果显著提升，这得益于海量数据、大量算力以及深度学习的飞跃发展。 基于自然语言处理大模型的预训练模型，可以根据业务需求开发出诸如营销文案生成、阅读理解、智能对话和代码生成等应用功能。 父主题：
失、浪费和管理不善的情况？在社会建设专项资金的使用情况中，应规范操作，加强管理，及时纠正和化解建设过程中的解释、调取和留置问题，严防管理漏洞，保证应用资金的安全性和真实性。同时，应建立完善的监管机制，严格管理，加强监督，加强专项资金使用情况的评估，加强对建设过程的监管和评估，节约
乱码文本 过滤乱码字符占比超过阈值的文本。 汉字比率过滤 基于文档中汉字占比过滤数据。 目录\封面过滤 移除文本的目录和封面。 图注标注过滤 移除文本中的图标和标注信息。 参考文献过滤 移除文本中参考文献的信息。 数据去重 去重 移除文本中重复内容。 数据安全 数据脱敏 识别并对
华为云：负责云服务自身的安全，提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全，涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身，也包括运维运营安全，以及更广义的安全合规遵从。 租户
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
