检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
申请体验盘古大模型服务 盘古大模型为用户提供了五大模型的体验，包括NLP大模型、CV大模型、多模态大模型、预测大模型与科学计算大模型，用户可根据所需提交体验申请，申请通过后才可以体验盘古大模型功能。 登录盘古大模型套件平台。 在服务“总览”页面，单击“立即体验”，平台将跳转至盘古大模型体验申请页面。
非流式调用推理服务传的参数只能是1或者2。 请使用正确的取值：1或者2。 PANGU.3321 The parameter [n] can only be 1 when calling streaming. 流式调用推理服务n只能取1。 请使用正确的取值：1。 APIG.0101 The
相当可观的基础知识，但如果目标任务要求回答必须符合特定的风格或格式，这将造成和基础知识的数据分布差异。例如，需要模型使用某银行客服的口吻进行线上问答，此时需要使用符合该银行风格和格式的数据集进行微调，以提升模型的遵循度。 Prompt工程后，效果仍无法达到预期：当对模型做了大量的
删除。支持创建评估任务，选择候选提示词和需要使用的变量数据集，设置评估算法，执行任务自动化对候选提示词生成结果和结果评估。 提示词管理 提示词管理支持用户对满意的候选提示词进行保存管理，同时支持提示词的查询、删除。 图1 提示词工程使用流程 父主题： 提示词工程
大模型的安全性需要从哪些方面展开评估和防护 盘古大模型的安全性主要从以下方面考虑： 数据安全和隐私保护：大模型涉及大量训练数据，这些数据是重要资产。为确保数据安全，需在数据和模型训练的全生命周期内，包括数据提取、加工、传输、训练、推理和删除的各个环节，提供防篡改、数据隐私保护、加
son”。 X-Auth-Token：用户Token，可选，当使用Token方式认证时，必须填充该字段。用户Token请参考认证鉴权中的“Token认证”。 公有云API同时支持使用AK/SK认证，AK/SK认证是使用SDK对请求进行签名，签名过程会自动往请求中添加Authori
和各项云服务技术的安全功能和性能本身，也包括运维运营安全，以及更广义的安全合规遵从。 租户：负责云服务内部的安全，安全地使用云。华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客
表示模型生成的答案中包含的tokens的数量。 prompt_tokens Number 表示生成结果时使用的提示文本的tokens的数量。 total_tokens Number 对话过程中使用的tokens总数。 流式（stream参数为true） 状态码： 200 表7 流式输出的数据单元
盘古大模型服务通过多种数据保护手段和特性，保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密（HTTPS） 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS数据保护技术说明：https://support
基于NLP-N2-基模型训练的单场景模型，可支持选择一个场景进行推理，如：搜索RAG方案等，具有32K上下文能力。 NLP大模型训练过程中，一般使用token来描述模型可以处理的文本长度。token（令牌）是指模型处理和生成文本的基本单位。token可以是词或者字符的片段。模型的输入和
-SQL模型、盘古-NLP-N2-Agent模型、盘古-NLP-N2-Code模型）经有监督微调（SFT）训练后的用户模型进行边缘部署。 使用边缘部署功能需要在ModelArts服务中开通“边缘资源池”功能，该功能为白名单特性，需要联系ModelArts服务技术支持人员进行开通。
"meeting_room_status_query", toolDesc = "查询会议室的状态，是否被预定或者正在使用中", toolPrinciple = "请在需要预定会议室之前使用，查询会议室状态判断是否可以预定", inputDesc = "", outPutDesc = "会议室状态")
API进行的封装，通过该SDK可以处理用户的输入，生成模型的回复，从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答（多轮对话）（/chat/completions） Java、Python、Go、.NET、NodeJs 基于对
通过知识库提升AI助手在特定领域问题的回答效果。 高级配置 工具召回策略 设置从所有可用工具中选择最相关的工具来处理用户的问题策略。 类型：使用词嵌入技术（embedding）来衡量用户问题与工具之间的相关性。 中断策略：当相关性得分小于设置的阈值，则不召回任何工具，终止后续流程。
的内容片段，可以有效降低首token的审核时延，同时确保用户看到的内容是经过严格审核的。 图3 大模型内容审核 购买内容审核套餐包时，如果使用“文本补全”和“多轮对话”功能，需要选择“文本内容审核”套餐。 父主题： 准备工作
LLMParamConfig from pangukitsappdev.api.llms.factory import LLMs # 设置SDK使用的配置文件 os.environ["SDK_CONFIG_PATH"] = "./llm.properties" # 初始化LLMs llm_api
永久移动，请求的资源已被永久的移动到新的URI，返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其他地址，使用GET和POST请求查看。 304 Not Modified 所请求的资源未修改，服务器返回此状态码时，不会返回任何资源。 305 Use
environ["SDK_CONFIG_PATH"] = "./llm.properties" 完整配置项如下： 配置项中的密码等字段建议在配置文件或者环境变量中密文存放，使用时解密，确保安全，详见配置文件敏感信息加密配置。 ################################ GENERIC CONFIG
表示模型生成的答案中包含的tokens的数量。 prompt_tokens Number 表示生成结果时使用的提示文本的tokens的数量。 total_tokens Number 对话过程中使用的tokens总数。 流式（stream参数为true） 状态码： 200 表9 流式输出的数据单元
满足您的需求。 支持区域： 西南-贵阳一 体验盘古预置模型能力 应用百宝箱 应用百宝箱是盘古大模型为用户提供的便捷AI应用集，用户可在其中使用盘古大模型预置的场景应用和外部应用，轻松体验大模型开箱即用的强大能力。 支持区域： 西南-贵阳一 体验盘古驱动的应用百宝箱
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
