检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CPU架构：aarch64（登录设备，执行arch命令查看） 依赖包下载。 docker下载：https://download.docker.com/linux/static/stable 选择对应cpu架构下载，docker版本选在19.0.3+。 K3S下载：https://github.c
一个与目标任务同属的问题，回答的结果却不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 测试集质量：请检查测试集的目标任务和分布与实际场景是否一致，质量较差的测试集无法反映模型的真实结果。 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大，
State Transfer）风格的API，支持您通过HTTPS请求调用，调用方法请参见如何调用REST API。 调用API时，需要用户网络可以访问公网。 父主题： 使用前必读
盘古大模型的安全性主要从以下方面考虑： 数据安全和隐私保护：大模型涉及大量训练数据，这些数据是重要资产。为确保数据安全，需在数据和模型训练的全生命周期内，包括数据提取、加工、传输、训练、推理和删除的各个环节，提供防篡改、数据隐私保护、加密、审计和数据主权保护等机制。在训练和推理过程中，通过数据脱敏、隐私计算等技术手
训练效果，确认训练过程是否出现了过拟合或欠拟合等异常情况。 模型评估：使用平台的“模型评估”功能，“模型评估”将对您之前上传的测试集进行评估。通过查看测试集样本的PPL、BLEU和ROUGE等指标，进行横向（相同训练数据+不同规格的通用模型）或纵向（不同训练数据训练的多个模型版本）对比来判断训练过程是否出现了问题。
身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务，有以下两种调用方式： Token认证：通过Token认证调用请求。 AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。经过认证的请求总是需要
在保持相同QPS目标的情况下，降低推理时的显存占用。 采用INT8的压缩方式，INT8量化可以显著减小模型的存储大小与降低功耗，并提高计算速度。 模型经过量化压缩后，不支持评估操作，但可以进行部署操作。 创建模型压缩任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 >
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击，华为云在遵从法律法规业界标准的基础上，以安全生态圈为护城河，依托华为独有的软硬件优势，构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任，如图1所示。
后的模型。训练后的模型只有在使用“在线部署”功能时，才可以使用本章节提供的方法进行调用。本章节将介绍如何使用Postman调用API，仅供测试使用。 前提条件 使用API调用模型前，请先完成盘古大模型服务订购和开通操作。 使用Postman调用API 获取API请求地址。 在“服
可以使用本章节提供的方法进行调用。本章节分别介绍使用Postman调用API和多语言（Java/Python/Go）调用API的方法，仅供测试使用。 前提条件 使用API调用模型前，需要先开通盘古大模型服务。 使用Postman调用API 获取API请求地址。 在“服务管理”页面，单击所需API的“查看详情”按钮。
盘古大模型服务通过多种数据保护手段和特性，保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密（HTTPS） 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS数据保护技术说明：https://support
数据批量大小 8 >=1 数据集进行分批读取训练，设定每个批次数据的大小。 一般来说，批大小越大，训练速度越快，但会占用更多的内存资源，且可能导致收敛困难或过拟合。批大小越小，训练速度越慢，但会减少内存消耗，且可能提高泛化能力。因此，批大小需要根据数据集的规模和特点，以及模型的复杂度
数据批量大小 8 >=1 数据集进行分批读取训练，设定每个批次数据的大小。 一般来说，批大小越大，训练速度越快，但会占用更多的内存资源，且可能导致收敛困难或过拟合。批大小越小，训练速度越慢，但会减少内存消耗，且可能提高泛化能力。因此，批大小需要根据数据集的规模和特点，以及模型的复杂度
数据批量大小是指对数据集进行分批读取训练时，所设定的每个批次数据大小。批量大小越大，训练速度越快，但是也会占用更多的内存资源，并且可能导致收敛困难或者过拟合；批量大小越小，内存消耗越小，但是收敛速度会变慢，同时模型更容易受到数据噪声的影响，从而导致模型收敛困难。 您可根据数据和模型的
通常在调用API的鉴权过程中，您需要用到账号、用户和密码等信息。 区域（Region） 从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region
成文章、撰写报告，还是设计广告文案，盘古大模型都能根据输入需求灵活调整，生成符合预期的高质量内容。 推理速度快 盘古大模型采用了高效的深度学习架构和优化算法，显著提升了推理速度。在处理请求时，模型能够更快地生成结果，减少等待时间，从而提升用户体验。这种快速的推理能力使盘古大模型适
对话、搜索增强等场景。 Memory（记忆）支持多种不同的存储方式和功能。 Cache缓存：是一种临时存储数据的方法，它可以提高数据的访问速度和效率。缓存可以根据不同的存储方式进行初始化、更新、查找和清理操作。缓存还可以支持语义匹配和查询，通过向量和相似度的计算，实现对数据的语义理解和检索。
对话、搜索增强等场景。 Memory（记忆）支持多种不同的存储方式和功能。 Cache缓存：是一种临时存储数据的方法，它可以提高数据的访问速度和效率。缓存可以根据不同的存储方式进行初始化、更新、查找和清理操作。缓存还可以支持语义匹配和查询，通过向量和相似度的计算，实现对数据的语义理解和检索。
Loss曲线平缓，保持高位：Loss保持平缓且保持高位不下降的原因可能是由于目标任务的难度较大，或者模型的学习率设置得过小，导致模型的收敛速度太慢，无法达到最优解。您可以尝试增大训练轮数或者增大学习率的方式来解决。 图4 异常的Loss曲线：平缓且保持高位 Loss曲线异常抖动：
结合记忆模块中相关的信息以获取最优化任务解决策略。 任务执行：能通过工具与外界发生联系并产生影响，工具可以自定义，包括查询信息、调用服务、网络搜索、文件管理、调用云服务等，通过Agent构建一个让LLM按照特定的规则迭代运行的Prompt，直到任务完成或者达到终止条件（如设置迭代次数）。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
