检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
认证失败。 认证鉴权失败,请参考《API文档》认证鉴权章节重新进行认证。 PANGU.0012 auth info missing. 缺少身份验证信息。 请检查调用API时是否有传入认证鉴权信息。 PANGU.0031 Inner service exception. 服务内部异常。
url 是 String assistant api调用地址。 authType 是 String 用于指定身份验证的类型,默认值“OAuth”,使用OAuth协议进行身份验证。 代码示例: { "tool_id": "reserve_meeting_room", "tool_desc":
在调用盘古API过程中,Token起到了身份验证和权限管理的作用。 在调用盘古API前,需要先使用“获取Token”接口,获取Token值,再将Token值传入盘古API的请求header参数中,实现盘古服务在接收到用户的API请求时进行身份验证。 关于Token有效期的详细说明请参
在调用盘古API过程中,Token起到了身份验证和权限管理的作用。 在调用盘古API前,需要先使用“获取Token”接口,获取Token值,再将Token值传入盘古API的请求header参数中,实现盘古服务在接收到用户的API请求时进行身份验证。 关于Token有效期的详细说明请参
的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 使用推理SDK章节示例代码均以ak和sk保存在环境变量中来实现身份验证。 登录“我的凭证”页面,获取“IAM用户名”、“账号名”以及待使用区域的“项目ID”。调用服务时会用到这些信息,请提前保存。 由于盘古
身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务,有以下两种调用方式: Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。经过认证的请求总是需要
在数据和模型训练的全生命周期内,包括数据提取、加工、传输、训练、推理和删除的各个环节,提供防篡改、数据隐私保护、加密、审计和数据主权保护等机制。在训练和推理过程中,通过数据脱敏、隐私计算等技术手段识别并保护敏感数据,有效防止隐私泄露,保障个人隐私数据安全。 内容安全:通过预训练和
用于更新模型权重的优化算法参数,可以选择adamw。 adamw是一种改进的Adam优化器,它在原有的基础上加入了权重衰减(weight decay)的机制,可以有效地防止过拟合(overfitting)的问题。 学习率衰减比率 0.00001 0~1 学习率衰减后,最小不会低于的学习率。计算公式为:学习率*学习率衰减比率。
训练参数说明和调参策略请参见自监督微调训练参数说明。 checkpoints 模型训练任务过程中,checkpoints用于保存模型权重和状态的机制,以便故障场景及用户主动终止训练任务后,能够基于中间checkpoints继续训练。 在数据配置中,选择训练模型所需的数据集。 图2 数据配置
应规范操作,加强管理,及时纠正和化解建设过程中的解释、调取和留置问题,严防管理漏洞,保证应用资金的安全性和真实性。同时,应建立完善的监管机制,严格管理,加强监督,加强专项资金使用情况的评估,加强对建设过程的监管和评估,节约专项资金,杜绝资源的浪费和管理不善的情况。在使用福田区社
创建子用户并授权使用盘古 如果您需要对华为云上购买的盘古资源,为企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(IAM)并结合盘古大模型套件平台提供的“角色管理”功能实现精细的权限管理。 如果华为云账号已经能满足您的要求,不需要创建独立的
权限管理 如果您需要为企业员工设置不同的访问权限,以实现对华为云上购买的盘古大模型资源的权限隔离,可以使用统一身份认证服务(IAM)和盘古角色管理功能进行精细的权限管理。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户(子用户)进行权限管理,可以跳过本章节,不影响您使用服务的其他功能。
安全 责任共担 身份认证与访问控制 数据保护技术 审计 监控安全风险
如何评估微调后的模型是否正常 评估模型效果的方法有很多,通常可以从以下几个方面来评估模型训练效果: Loss曲线:通过Loss曲线的变化趋势来评估训练效果,确认训练过程是否出现了过拟合或欠拟合等异常情况。 模型评估:使用平台的“模型评估”功能,“模型评估”将对您之前上传的测试集进
认证鉴权 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。 Token认证 Token在计算机系统中代表令牌
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。
基本概念 账号 用户注册华为云时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户,是云
清洗算子功能介绍 数据清洗是提高数据质量的重要环节,包括去除异常的字符、去除表情符号和去除个人敏感内容等,经过清洗的数据可以提升训练阶段的稳定性。 平台支持通过以下清洗能力: 表1 清洗算子说明 算子类型 功能 说明 数据转换 全角转半角 将文本中的所有全角字符转换成半角字符。 中文繁简体互转
模型训练所需数据量与数据格式要求 盘古大模型套件平台支持NLP大模型的训练。不同模型训练所需的数据量和数据格式有所差异,请基于数据要求提前准备训练数据。 数据量要求 自监督训练 在单次训练任务中,一个自监督训练数据集内,上传的数据文件数量不得超过1000个,单文件大小不得超过1G
检测数据集质量 数据集创建成功后,平台将对数据集中的数据进行质量校验,并给出健康度评分、合规度评分与数据长度分布。 检测数据集质量 在“数据工程 > 数据管理”页面,选择“我的数据集”或者“训练数据集”页签。 单击数据集名称,进入数据集详情页,查看详细的数据质量。 其中,数据长度