检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何对盘古大模型的安全性展开评估和防护 盘古大模型的安全性主要从以下方面考虑: 数据安全和隐私保护:大模型涉及大量训练数据,这些数据是重要资产。为确保数据安全,需在数据和模型训练的全生命周期内,包括数据提取、加工、传输、训练、推理和删除的各个环节,提供防篡改、数据隐私保护、加密、审计和数据主权保护等机制
安全 责任共担 身份认证与访问控制 数据保护技术 审计
为什么微调后的盘古大模型评估结果很好,但实际场景表现很差 当您在微调过程中,发现模型评估的结果很好,一旦将微调的模型部署以后,输入一个与目标任务同属的问题,回答的结果却不理想。这种情况可能是由于以下几个原因导致的,建议您依次排查: 测试集质量:请检查测试集的目标任务和分布与实际场景是否一致
数据保护技术 盘古大模型服务通过多种数据保护手段和特性,保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密(HTTPS) 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护
审计 云审计服务(Cloud Trace Service,CTS)是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后,CTS可记录用户使用盘古的管理事件和数据事件用于审计
数据工程常见报错与解决方案 数据工程常见报错及解决方案请详见表1。 表1 数据工程常见报错与解决方案 功能模块 常见报错 解决方案 数据获取 File format mismatch, require [{0}]. 请检查创建数据集时使用的数据,与平台要求的文件内容格式是否一致。
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任
身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务,有以下两种调用方式: Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。经过认证的请求总是需要包含一个签名值
数据量和质量均满足要求,为什么盘古大模型微调效果不好 这种情况可能是由于以下原因导致的,建议您排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“
高频常见问题 大模型概念类问题 如何对盘古大模型的安全性展开评估和防护 训练智能客服系统大模型需考虑哪些方面 大模型微调训练类问题 如何调整训练参数,使盘古大模型效果最优 如何判断盘古大模型训练状态是否正常 为什么微调后的盘古大模型评估结果很好,但实际场景表现很差 数据量足够,为什么盘古大模型微调效果仍然不好
Agent开发常见报错与解决方案 工作流常见错误码与解决方案 工作流常见报错及解决方案请详见表1。 表1 工作流节点常见报错与解决方案 模块名称 错误码 错误描述 解决方案 开始节点 101501 开始节点全局配置未传入值。 开始节点错误,请联系客服解决。 结束节点 101531
准备工作 注册华为账号并开通华为云,并完成实名认证,账号不能处于欠费或冻结状态。 检查开发环境要求,确认本地已具备开发环境。 登录“我的凭证 > 访问密钥”页面,依据界面操作指引获取Access Key(AK)和Secret Access Key(SK)。下载的访问密钥为credentials.csv
为什么在微调后的盘古大模型中输入训练样本问题,回答完全不同 当您将微调的模型部署以后,输入一个已经出现在训练样本中,或虽未出现但和训练样本差异很小的问题,回答完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题
为什么微调后的盘古大模型的回答中会出现乱码 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的,建议您依次排查: 数据质量:请检查训练数据中是否存在包含异常字符的数据,可以通过规则进行清洗
调用说明 盘古大模型提供了REST(Representational State Transfer)风格的API,支持您通过HTTPS请求调用,调用方法请参见如何调用REST API。 调用API时,需要用户网络可以访问公网。 父主题: 使用前必读
数据量足够,为什么盘古大模型微调效果仍然不好 这种情况可能是由于以下原因导致的,建议您排查: 数据质量:请检查训练数据的质量,若训练样本和目标任务不一致或者分布差异较大、样本中存在异常数据、样本的多样性较差,都将影响模型训练的效果,建议提升您的数据质量。 父主题: 大模型微调训练类
为什么微调后的盘古大模型的回答会异常中断 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成的结果不完整,出现了异常截断。这种情况可能是由于以下几个原因导致的,建议您依次排查: 推理参数设置:请检查推理参数中的“最大Token限制”参数的设置,适当增加该参数的值,可以增大模型回答生成的长度
为什么微调后的盘古大模型总是重复相同的回答 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成了复读机式的结果,即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的,建议您依次排查: 推理参数设置:请检查推理参数中的“话题重复度控制”或“温度”或“
概述 盘古大模型整合华为云强大的计算和数据资源,将先进的AI算法集成在预训练大模型中,打造出具有深度语义理解与生成能力的人工智能大语言模型。可进行对话互动、回答问题、协助创作。 盘古大模型在ModelArts Studio大模型开发平台部署后,可以通过API调用推理接口。 表1 API
盘古科学计算大模型能力与规格 盘古科学计算大模型面向气象、医药、水务、机械、航天航空等领域,融合了AI数据建模和AI方程求解方法。该模型从海量数据中提取数理规律,利用神经网络编码微分方程,通过AI模型更快速、更精准地解决科学计算问题。 ModelArts Studio大模型开发平台为用户提供了多种规格的科学计算大模型