检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Postman调用API时,如果出现SSL证书无效相关的报错,如“self signed certificate”(自签名证书)、“certificate has expired”(证书已过期)或“unable to verify the first certificate”(无法验证第一个证书)等。可以在Postman的设置中关闭“SSL
使用Postman调用API时,如果出现SSL证书无效相关的报错,如“self signed certificate”(自签名证书)、“certificate has expired”(证书已过期)或“unable to verify the first certificate”(无法验证第一个证书)等。可以在Postman的设置中关闭“SSL
搭建边缘服务器集群 执行如下命令,生成docker证书。注意该命令只需执行一次,如果已有相关证书,请跳过该步骤。 bash cluster_install-ascend.sh generate_docker_cert --pkg-path=/home/hilens/pkgs 基于
如果节点有npu设备需选择“AI加速卡 > Ascend”,并选择加速卡类型。 如果节点没有加速卡,则选择“AI加速卡 > 不使用”。 单击“立即下载”,下载设备证书和Agent固件,并将设备证书与Agent固件分别重命名为license.tgz、hilens-agent.tgz。
模型管理”页面,单击右上角的“模型迁移”。 在“模型迁移”页面,下载用户证书。 图2 下载用户证书 登录环境A的盘古大模型套件平台,在“模型迁移”页面,选择“导出模型”,在导入证书的地方上传环境B下载的证书文件,并选择需要导出的模型和模型导出的obs路径。 图3 导出模型 单击“确定”,导出模型。
如何调整训练参数,使模型效果最优 模型微调参数的选择没有标准答案,不同的场景,有不同的调整策略。一般微调参数的影响会受到以下几个因素的影响: 目标任务的难度:如果目标任务的难度较低,模型能较容易的学习知识,那么少量的训练轮数就能达到较好的效果。反之,若任务较复杂,那么可能就需要更多的训练轮数。
配置知识库 大模型在进行训练时,使用的是通用的数据集,这些数据集没有包含特定行业的数据。通过知识库功能,用户可以将领域知识上传到知识库中,向大模型提问时,大模型将会结合知识库中的内容进行回答,解决特定领域问题回答不准的现象。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了欠拟合,模型没有学到任何知识。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置,适当增大“训练轮次”的值,或根据实际情况调整“学习率”的值,帮助模型更好收敛。
取IAM用户的Token。 获取Token方法: Token可通过调用“获取Token”接口获取,接口调用示例如下。 伪码 POST https://iam.cn-southwest-2.myhuaweicloud.com/v3/auth/tokens Content-Type:
rch命令查看) 依赖包下载。 docker下载:https://download.docker.com/linux/static/stable 选择对应cpu架构下载,docker版本选在19.0.3+。 K3S下载:https://github.com/k3s-io/k3s/releases/tag/v1
较低的温度。 请注意,温度和核采样的作用相近,在实际使用中,为了更好观察是哪个参数对结果造成的影响,因此不建议同时调整这两个参数。 如果您没有专业的调优经验,可以优先使用建议,再结合推理的效果动态调整。 核采样(top_p) 0~1 1 核采样主要用于控制模型输出的多样性。核采样
若您的无监督文档没有任何结构化信息,可以将有监督的问题设置为“以下是一篇文章的第一个句子:xxx/第一段落:xxx。请根据以上的句子/段落,续写为一段不少于xx个字的文本。”,再将回答设置为符合要求的段落。 扩写:根据段落的其中一句或者一段续写成完整的段落。 若您的无监督文档没有任何结构
安装Ascend插件 详情请参考官方文档:https://www.hiascend.com/document/detail/zh/mindx-dl/50rc1/dluserguide/clusterscheduling/dlug_scheduling_02_000001.html
过拟合是指为了得到一致假设而使假设变得过度严格,会导致模型产生“以偏概全”的现象,导致模型泛化效果变差。 欠拟合 欠拟合是指模型拟合程度不高,数据距离拟合曲线较远,或指模型没有很好地捕捉到数据特征,不能够很好地拟合数据。 损失函数 损失函数(Loss Function)是用来度量模型的预测值f(x)与真实值Y的差
调用说明 盘古大模型提供了REST(Representational State Transfer)风格的API,支持您通过HTTPS请求调用,调用方法请参见如何调用REST API。 调用API时,需要用户网络可以访问公网。 父主题: 使用前必读
在反问时需要指明“上面的xxx”。例如:“为什么你认为上面的xxx是xxx类别?为什么上面的xxx不是xxx类别?”,否则模型会认为用户反问是个新问题,而非多轮并回复“您并没有给我xxx问题,请给我具体的xxx问题,以便我更好地解答。” 复述任务要求 可以让模型复述prompt中的要求,考察模型是否理解。 比如“
参数类型 描述 error_msg String 错误信息。 error_code String 错误码。 请求示例 单轮问答 POST https://{endpoint}/v1/{project_id}/deployments/{deployment_id}/chat/completions
如果不一致,返回空值 # 例如,查询“有没有数据?”这个问题和“test-semantic-cache-vector-001”这个会话标识,就无法从缓存中获取到任何答案,因为这个问题和之前保存的问题都不一致 query_not = "有没有数据?" assert cache.lookup(query_not)
盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密(HTTPS) 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS数据保护技术说明:https://support.huaweicloud.com
盘古大模型API调用URL。 完整URL格式示例为:https://{endpoint}/v1/{project_id}/deployments/{deployment_id}/chat/completions SDK配置示例为:https://{endpoint}/v1/{proje