检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Memory（记忆）支持多种不同的存储方式和功能。 Cache缓存：是一种临时存储数据的方法，它可以提高数据的访问速度和效率。缓存可以根据不同的存储方式进行初始化、更新、查找和清理操作。缓存还可以支持语义匹配和查询，通过向量和相似度的计算，实现对数据的语义理解和检索。 Vector向量存储：
由账号在IAM中创建的用户，是云服务的使用人员，具有身份凭证（密码和访问密钥）。 在我的凭证下，您可以查看账号ID和用户ID。通常在调用API的鉴权过程中，您需要用到账号、用户和密码等信息。 区域（Region） 从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、
命令案例：科技行业公司的平均利润和市值是多少 通过调用大模型，获取更多数据： 1. "请给我科技行业公司的利润平均值和市值平均值。" 2. "科技行业的公司平均利润和市值都是多少？" 3. "我需要知道科技行业公司的平均利润和平均市值。" 4. "能告诉我一下科技行业公司的平均利润和市值是多少吗？"
令牌（Token）是指模型处理和生成文本的基本单位。Token可以是词或者字符的片段。模型的输入和输出的文本都会被转换成Token，然后根据模型的概率分布进行采样或者计算。 例如，在英文中，有些组合单词会根据语义拆分，如overweight会被设计为2个Token：“over”和“weight”
等多种能力。 在准备自监督训练数据和有监督微调数据时，除行业数据外，建议混入一定比例的通用数据，防止模型在经过训练后出现通用问答能力下降的情况。 行业数据 : 通用数据的比例按业内经验有1 : 1、1 : 5。实际训练过程中，行业数据和通用数据和的配比需要根据具体情况进行权衡，需
登录“我的凭证 > 访问密钥”页面，依据界面操作指引获取Access Key（AK）和Secret Access Key（SK）。下载的访问密钥为credentials.csv文件，包含AK/SK信息。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
API清单 API 功能 NLP-文本补全 给定一个提示和一些参数，模型会根据这些信息生成一个或多个预测的补全。它可以用来做文本生成、自动写作、代码补全等任务。 NLP-多轮对话 基于对话问答功能，用户可以与模型进行自然而流畅的对话和交流。 父主题： 使用前必读
不理解是同一个key。 恰当的表述 可以尝试从英语的逻辑去设计提示词。 最好是主谓宾结构完整的句子，少用缩写和特殊句式。 应使用常见的词汇和语言表达方式，避免使用生僻单词和复杂的句式，防止机器理解偏差。 多用肯定句，少用否定句，比如“你不能A -> 你必须保证^A”，“你不能生成重复的问题
使用API调用模型 提示词工程 - 利用精心设计的提示词优化和引导大模型生成更加准确和相关的输出，提高模型在特定任务中的表现。 提示词工程 AI助手 - 通过大模型搭建Agent应用，并结合多种工具，实现对话问答、规划推理和逻辑判断功能。 AI助手 应用开发SDK - 通过应用开发
但会减少内存消耗，且可能提高泛化能力。因此，批大小需要根据数据集的规模和特点，以及模型的复杂度和性能进行调整。同时，批大小还与学习率相关。学习率是指每次更新参数时，沿着梯度方向移动的步长。一般来说，批大小和学习率成正比。如果批大小增大，学习率也相应增大；如果批大小减小，那么学习率也应减小。
Agent（智能代理），用于对复杂任务的自动拆解与外部工具调用执行，一般包括任务规划、记忆系统和执行系统。 任务规划：将复杂目标任务分解为小的可执行子任务，通过评估、自我反思等方式提升规划成功率。 记忆系统：通过构建记忆模块去管理历史任务和策略，并让Agent结合记忆模块中相关的信息以获取最优化任务解决策略。
选择需要进行压缩的模型执行模型压缩，压缩策略为“INT8”。当压缩模型为N2基础功能模型，或是经有监督微调训练和RLHF训练后的N2模型，支持选择“低消耗模式”，减少推理资源的消耗。 图2 创建压缩任务 输入任务名称和描述，单击“立即创建”，即可下发压缩模型任务。模型压缩任务完成后，可以使用压缩后的模型进行部署操作。
NET、NodeJs 基于对话问答功能，用户可以与模型进行自然而流畅的对话和交流。 通用文本（文本补全）（/text/completions） Java、Python、Go、.NET、NodeJs 给定一个提示和一些参数，模型会根据这些信息生成一个或多个预测的补全，还可以返回每个位置
0之间，值越高说明模型生成和实际答案匹配度越高。 可以作为模型能力的参考指标，当两个模型进行比较时，BLEU指标越大的模型效果一般更好。但是模型的能力还是需要通过人工评测来评判，BLEU指标只能作为参考。 指标的缺陷 BLEU指标只考虑n-gram词的重叠度，不考虑句子的结构和语义。 模型优化建议
的模型和模型导出的obs路径。 图3 导出模型 单击“确定”，导出模型。 模型导出成功后，可以在obs中查看导出后的模型文件。下载该obs文件，上传到环境B对应的obs桶中。 登录环境B的盘古大模型套件平台，在“模型迁移”页面，选择“导入模型”，输入模型对应的obs地址和模型名称后，单击“确定”，启动导入模型任务。
大模型是什么 大模型的计量单位token指的是什么 大模型是否可以自定义人设 盘古自然语言大模型的适用场景有哪些 大模型的安全性需要从哪些方面展开评估和防护 训练智能客服系统大模型需要考虑哪些方面
创建知识库 选择知识库类型后，单击“创建”进入知识库设置页面，创建知识库。 当选择“自定义知识库”时，需要设置名称、英文名称、描述信息。注意英文名称和描述将影响模型检索效果，不可随意填写，需按照知识库中文档的实际内容或知识库目进行填写。设置完成后单击“立即创建”进入知识库详情页，上传文档。
输入输出长度。修改部署时扩缩容和外推场景互斥，每次只能修改一个。 当前仅盘古-NLP-N4系列模型以及基于它们训练的模型支持外推。 图1 模型部署外推升级 扩缩容部署实例数量 扩缩容是指运行中的模型支持增加或减少模型部署的实例数。 修改部署时扩缩容和外推场景互斥，每次只能修改一个。
值信息，可以通过“导入”功能进行上传。 图1 预览提示词效果 单击“查看效果”按钮，输出模型回复结果，用户可以根据预览效果调整提示词的文本和变量。 父主题： 撰写提示词
在服务“总览”页面，单击“立即体验”，平台将跳转至盘古大模型体验申请页面。 图1 立即体验 您可以选择希望体验的盘古大模型，单击“申请体验”，填写手机、邮箱和邀请码，单击“下一步”，提交体验盘古大模型的申请。 图2 申请体验-1 图3 申请体验-2 父主题： 体验盘古大模型功能
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
