检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击右上角“模型更新”,进入“模型更新”页面。 在“可修改配置 > 部署模型”中,可选择模型以替换当前已部署的模型。 在“升级配置”中,选择以下两种升级模式: 全量升级:新旧版本服务同时运行,直至新版本完全替代旧版本。在新版本部署完成前,旧版本仍可使用。需要该服务所消耗资源的2倍,用于保障全量一次性升级。
署至客户的边缘设备中(仅支持边缘部署的模型可配置边缘部署)。 部分模型资产支持边缘部署方式,若选择“边缘部署”: 资源池:选择部署模型所需的边缘资源池,创建边缘资源池步骤请详见创建边缘资源池。 CPU:部署需要使用的最小CPU值(物理核)。 内存:部署需要使用的最小内存值。 Ascend:部署使用的NPU数量。
义的表述。这有助于模型更好地理解任务需求。 使用具体且相关的词汇:在提示词中尽量使用与任务相关的具体词汇,这有助于模型捕捉到关键信息,提高生成质量。 适当使用否定词:在某些任务中,使用否定词可以帮助模型更好地理解输入,从而生成更准确的输出。 结合上下文信息 利用上下文信息优化提示
理功能, 模型实例可用于预测、科学计算大模型的模型推理功能。 具体订购步骤如下: 使用主账户登录ModelArts Studio大模型开发平台,单击“立即订购”进入“订购”页面。 在“开发场景”中勾选需要订购的大模型(可多选),页面将根据勾选情况适配具体的订购项。 图1 选择开发场景
单击右上角“模型更新”,进入“模型更新”页面。 在“可修改配置 > 部署模型”中,可选择模型以替换当前已部署的模型。 在“升级配置”中,选择以下两种升级模式: 全量升级:新旧版本服务同时运行,直至新版本完全替代旧版本。在新版本部署完成前,旧版本仍可使用。需要该服务所消耗资源的2倍,用于保障全量一次性升级。
CPU:部署需要使用的最小CPU值(物理核)。 内存:部署需要使用的最小内存值。 Ascend:部署使用的NPU数量。 负载均衡:创建负载均衡步骤请详见步骤5:创建负载均衡。 实例数:设置部署模型时所需的实例数。 作业输入方式 选择 “OBS”表示从OBS中读取数据。 作业输出方式
角色指令模板。单击“”,可使用获取提示词模板中的提示词模板。 图1 提示词 提示词填写完成后可通过大模型进行优化,单击“”,可在 “Prompt优化”窗口中复制优化后的提示词,单击“确定”。 注意,使用智能优化提示词功能前,请先在页面右上角选择需要使用的模型。 图2 配置大模型 步骤3:添加插件
提示词的效果通常与训练数据的相似度密切相关。当提示词的内容与模型在训练过程中接触过的样本数据相似时,模型更容易理解提示词并生成相关的输出。这是因为模型通过学习大量的训练数据,逐渐建立起对特定模式、结构和语言的理解,因此,提示词中包含的关键词、句式和语境如果与训练数据中的模式接近,模型能够“回忆”并运用已学习的知识和指令。
的效果。 业务逻辑的复杂性 判断任务场景的业务逻辑是否符合通用逻辑。如果场景中的业务逻辑较为简单、通用且易于理解,那么调整提示词是一个可行的方案。 例如,对于一般的常规问题解答等场景,可以通过在提示词中引导模型学习如何简洁明了地作答。 如果场景涉及较为复杂、专业的业务逻辑(例如金
和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客
永久移动,请求的资源已被永久的移动到新的URI,返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其他地址,使用GET和POST请求查看。 304 Not Modified 所请求的资源未修改,服务器返回此状态码时,不会返回任何资源。 305 Use
针对Token转换比,平台提供了Token计算器功能,可以根据您输入的文本计算Token数量,您可以通过以下方式使用该功能: 在左侧导航栏选择“能力调测”,单击右下角“Token计算器”使用该功能。 使用API调用Token计算器,详见《API参考》“API > Token计算器”。 NLP大模型训练类型选择建议
模型理解并捕捉预期风格。 可以在提示词中,明确描述回复风格的要求。例如,若希望模型回答更精炼,可以提示: 你的回复“需要简洁精炼”、“仅包括最重要的信息”或“专注于主要结论”。 若希望模型输出遵循特定格式,可以在提示词中明确格式要求,或使用占位符和模板结构,让模型填充内容。例如:
该签名值以请求者的访问密钥(AK/SK)作为加密因子,结合请求体携带的特定信息计算而成。通过访问密钥(AK/SK)认证方式进行认证鉴权,即使用Access Key ID(AK)/Secret Access Key(SK)加密的方法来验证某个请求发送者身份。 父主题: 安全
数据保护技术 盘古大模型服务通过多种数据保护手段和特性,保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密(HTTPS) 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数
如何判断盘古大模型训练状态是否正常 为什么微调后的盘古大模型评估结果很好,但实际场景表现很差 数据量足够,为什么盘古大模型微调效果仍然不好 大模型使用类问题 如何将本地的数据上传至平台 导入数据过程中,为什么无法选中OBS的单个文件进行上传 训练/推理单元与算力的对应关系是什么 提示词工程类 如何让大模型按指定风格或格式回复
统一管,资产管理“全” ModelArts Studio大模型开发平台数据、模型、Agent应用在统一的入口进行管理,可以快速的掌握资产的使用情况、版本情况和溯源信息等。
在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务右侧“撰写”。 在“撰写”页面,选择左侧导航栏中的“候选”。在候选列表中,勾选需要进行横向比对的提示词,并单击“创建评估”。 图1 创建评估 选择评估使用的变量数据集和评估方法。 评估用例集:根据选择的数据集,将待评估的提示词和数据集中的变
修改当前空间名称与描述。 可查看当前空间的创建时间。 单击右上角“删除”,可删除当前空间。 删除空间属于高危操作,删除前请确保当前空间不再进行使用。 父主题: 创建并管理盘古工作空间
单击所需知识库,进入详情页面。 新增知识库中知识文档。单击右上角“继续上传”,可上传本地文档至当前知识库。 删除知识库中知识文档。在“知识文档”中单击操作列“删除”可删除当前知识文档。 获取知识库ID、删除知识库 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。