正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开通API 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 文本补全:给定一个提示和一些参数,模型会根据这些信息生成一个或多个预测的补全。例如让模型依据要求写邮件、做摘要总结、生成观点见解等。 多轮
析、报告生成和业务洞察等任务。 模型推理资产即部署模型所需的cpu、gpu资源(专属资源池)。如果不订购推理资产,可以使用订购的盘古模型进行训练,但无法部署训练后的模型。 登录盘古大模型套件平台。 在服务“总览”页面,单击“立即购买”,平台将为您提交购买权限申请。如您有加急购买需求,可在页面右上角单击“工单
与其他云服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务(Object Storage Service,简称OBS)存储数据和模型,实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署,帮助用户快速创建和部署模型。
使用“能力调测”调用模型 前提条件 使用能力调测调用模型之前,需要先开通盘古大模型服务。 使用“能力调测”调用模型 能力调测通过图形化问答界面,提供了快速访问盘古大模型能力的入口。用户可以通过能力调测调用基模型与训练后的模型。 训练后的模型需要“在线部署”且状态为“运行中”时,才可以使用本章节提供的方法进行调测。
Cache缓存是一种临时存储数据的方法,它可以把常用的数据保存在内存或者其他设备中,这样当需要访问这些数据时,就不用再去原始的数据源查找,而是直接从缓存中获取,从而节省时间和资源。 对LLM使用缓存: LLM llm = LLMs.of(LLMs.PANGU, llmConfig); llm.setCache(Caches
更新。这种方法通常会带来最优的模型性能,但需要大量的计算资源和时间,计算开销较高。 局部微调(LoRA):在模型微调过程中,只对特定的层或模块的参数进行更新,而其余参数保持冻结状态。这种方法在很多情况下可以显著减少计算资源和时间消耗,且依旧可以保持较好的模型性能。 训练模型 选择
properties文件,并根据实际需要配置相应的值。 在环境变量中配置“SDK_CONF_PATH”指向该配置文件: # 建议在业务项目入口处配置 import os os.environ["SDK_CONFIG_PATH"] = "./llm.properties" 完整配置项如下: 配置项中的密码等字段
模型安全:通过模型动态混淆技术,使模型在运行过程中保持混淆状态,有效防止结构信息和权重信息在被窃取后暴露。 系统安全:通过网络隔离、身份认证和鉴权、Web安全等技术保护大模型系统安全,增强自身防护能力,以抵御外部安全攻击。 父主题: 大模型概念类问题
1024 温度(temperature) 0.3 核采样(top_p) 0.8 话题重复度控制(presence_penalty) 0 部署推理服务后,可以采用人工评测的方案来评估模型效果。如下提供了本场景可能存在的常见问题,若在评测过程中出现如下问题,可以参考解决: 问题一:JSON字段缺失、JSON字段或值错误。
userguide/clusterscheduling/dlug_scheduling_02_000001.html 父主题: 部署为边缘服务
优化业务流程,提高工作效率,降低运营成本,并为客户提供更精准、个性化的服务。 模型效果优秀 经过海量数据训练,盘古大模型在各种自然语言处理任务中展现出卓越的性能。无论是文本分类、情感分析、机器翻译,还是问答系统,模型都能以高准确率完成任务,为用户提供高质量的输出结果。 这种卓越的
发布数据集 刚创建的数据集在未发布状态下,无法应用于模型训练,数据集创建、清洗完成后需要执行“发布”操作才可以将该数据集用于后续的任务中。 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据管理”,在“我的数据集”页签找到未发布的数据集,单击操作列“版本发布”执行发布数据集操作。
调用边缘模型 调用边缘模型的步骤与使用“在线部署”调用模型的步骤相同,具体步骤请参考使用API调用模型。 父主题: 部署为边缘服务
创建评估任务 评估配置: 待评估模型:支持选择多个模型版本同时评估,最多选择5个。待评估模型必须符合前提条件。 评估资源:依据选择的模型数据自动给出所需的评估资源。 打分模式:当前版本打分模式仅支持基于规则,用户不可选,且暂无人工打分。基于规则打分:使用预置的相似度或准确率打分规
单击任务名称查看模型评估任务详情。包含基本信息、评估详情、评估报告、评估日志以及数据配置。 图1 任务详情界面 任务详情: 任务详情中包含打分模式、评估资源、评估模型、任务状态以及模型描述。 图2 任务详情 评估报告: 任务状态为“已完成”时,查看评估报告。评估报告中包含困惑度、评估概览以及模型结果分析。
opened API. 账号未开通该API服务。 请确认是否已开通该API服务。 PANGU.3308 The accessed API does not match the existing API. 访问的API与已开通的API服务不匹配。 请确认调用的API是否填写错误。 PANGU
数据保护技术 盘古大模型服务通过多种数据保护手段和特性,保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密(HTTPS) 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存
设置候选提示词 用户可以将效果较好的提示词设为候选提示词,并对提示词进行比对查看效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务操作栏中的“撰写”。 图1 撰写提示词
登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,选择所需要查看的服务,单击操作列“查看详情”。 图1 查看详情 在服务详情页面,在“概览”页签,可以查看调用量的概览信息,在“监控”页签,可以查看下详细的调用总量、调用成功量与调用失败量。 图2 查看调用量概览信息 图3 查看调用量详情
about chickens" == format2 自定义prompt # 按约定的格式准备prompt文件; # 文档结构和文件名参考提供的系统预置prompts文件 文档结构示例: …… prompts -- default -- documents