检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图5 大模型配置 在“预览调试”的左下角,选择开启“代码解释器”。 在“预览调试”的下方文本框中输入对话,例如“请编写输出10以内的素数的Python代码”,应用将根据对话生成相应的回答。 图6 预览调试结果 单击右上角“调试”,可查看应用的运行结果与调用详情。 图7 调用详情示例
数据合成:数据合成利用预置或自定义的数据指令对原始数据集进行处理,并根据设定的轮数生成新的数据。 数据标注:数据标注旨在为无标签的数据集添加准确的标签,标注数据的质量直接影响模型的训练效果和精度。针对不同数据集平台支持人工标注与AI预标注两种形式。 其中,图片Caption、视频Caption标注项支持AI预标注功能。
标准格式:适用于广泛的数据使用场景,满足大多数模型训练的标准需求。该格式的数据集将发布到资产中,但下游模型开发不可见。 盘古格式:专为盘古大模型训练设计的格式,确保数据集在盘古模型训练中的兼容性和一致性。该格式的数据集将被用于ModelArts Studio大模型开发平台的模型开发功能使用。
获取提示词模板 平台提供了多种任务场景的提示词模板,可以帮助用户更好地利用大模型的能力,引导模型生成更准确、更有针对性的输出,从而提高模型在特定任务上的性能。 在创建提示词工程前,可以先使用预置的提示词模板,或基于提示词模板进行改造 。如果提示词模板满足不了使用需求可再单独创建。
数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据流通和管理等功能。 该工具链能够高效收集和处理各种格式的数据,满足不同训练和评测任务的需求。通过提供自动化的质量检测和
调优目标:提升模型精度和性能。 调优思路:模型调优总体可分为两方面,数据预处理和模型训练参数优化,优化思路是从最简单的情形出发,逐步迭代调整提升模型效果,通过实验发现和确认合适的数据量,以及最佳的模型结构和模型参数。 父主题: 盘古科学计算大模型调优实践
意图识别节点响应意图的准确性。本实践的意图识别节点包含文本翻译意图和其他意图。 文本翻译意图:当用户请求翻译时,意图识别节点的关键任务是准确判断用户翻译的需求,执行翻译节点分支,并给出正确的翻译结果。 如图1,当用户输入翻译类问题时,“意图识别”节点对用户的意图分类为“文本翻译”
服务,便捷地构建自己的模型和应用。 数据工程工具链:数据是大模型训练的核心基础。数据工程工具链作为平台的重要组成部分,具备数据获取、数据加工和数据发布等功能,确保数据的高质量与一致性。工具链能够高效收集并处理各种格式的数据,满足不同训练任务的需求,并提供强大的数据存储和管理能力,为大模型训练提供坚实的数据支持。
合并发布为“发布数据集”的过程,确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求,可跳过此章节至发布文本类数据集。 创建文本类数据集配比任务 创建文本类数据集配比任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
Coefficient)是一个重要的统计指标,用于衡量预报系统的质量。它通过计算预报值与观测值之间的相关性来评估预报的准确性。ACC的计算涉及到预报值、观测值和气候平均值的差异,其值范围从-1到+1,值越接近+1表示预报与观测的一致性越好,值为0表示没有相关性,而负值则表示反向相关。 RQE
确保数据资产的规范性与安全性。 模型资产:平台提供的模型资产涵盖了预置或训练后发布的模型,所有这些模型将存放于空间资产中进行统一管理。用户可查看预置模型的历史版本和操作记录,还可以执行模型的进一步操作,包括训练、压缩、部署等。此外,平台支持导出和导入盘古大模型的功能,使用户能够
西南-贵阳一”区域,需要获取与贵阳一区域的对应的项目id。 图2 获取项目ID 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。 调用API获取项目ID 项目ID还可通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endp
通过横向比较提示词效果和批量评估提示词效果,如果找到高质量的提示词,可以将这些提示词发布至“提示词模板”中。 在提示词“候选”页面,选择质量好的提示词,并单击“保存到模板库”。 图1 保存提示词至模板库 进入“Agent 开发 > 提示词工程 > 提示词模板”页面,查看发布的提示词。 父主题: 开发盘古大模型提示词工程
温度主要用于控制模型输出的随机性和创造性。温度越高,输出的随机性和创造性越高;温度越低,输出结果越可以被预测,确定性相对也就越高。 您可根据真实的任务类型进行调整。一般来说,如果目标任务的需要生成更具创造性的内容,可以使用较高的温度,反之如果目标任务的需要生成更为确定的内容,可以使用较低的温度。
了解每种计费项的详细信息,请参考计费项。 续费 包周期资源到期后,如果您想继续使用服务,需要在保留期内进行手动续费,否则不能再对已过保留期的服务进行续费操作,需重新购买对应的服务。了解更多关于续费的信息,请参见续费。 欠费 在使用云服务时,账户的可用额度小于待结算的账单,即被判定
理解底层任务 需要站在模型的角度理解相关任务的真实底层任务,并清晰描述任务要求。 例如,在文档问答任务中,任务本质不是生成,而是抽取任务,需要让模型“从文档中抽取出问题的答案,不能是主观的理解或解释,不能修改原文的任何符号、字词和格式”, 如果使用“请阅读上述文档,并生成以下问题
发布图片类数据集 数据发布是将数据集发布为特定格式的“发布数据集”的过程,用于后续模型训练等操作。 图片类数据集支持发布的格式为: 标准格式:如图1,平台默认的格式。该格式的数据集可发布到资产中,但下游模型开发不可见。 图1 图片类数据集标准格式示例 盘古格式:如图2,训练盘古大
token解析失败,请检查获取token的方法,请求体信息是否填写正确,token是否正确;检查获取token的环境与调用的环境是否一致。 token超时(token expires) ,请重新获取token,使用不过期的token。 请检查AK/SK是否正确(AK对应的SK错误,不匹配;AK/SK中多填了空格)。
各节点的功能和设计思路: 开始节点:作为工作流的入口,开始节点负责接收用户输入的文本。无论是普通对话文本,还是包含翻译请求的文本,都将从此节点开始。 意图识别节点:该节点对用户输入的文本进行分类和分析,识别出用户的意图。主要包括以下两种意图: 文本翻译意图:系统识别出用户希望进行文本翻译的请求。
0/24范围的所有节点,都可以访问 /var/docker/hilens 。* 代表所有,即没有限制。也可以填写具体某个节点的IP。 rw:权限设置,可读可写。 anonuid:为映射的匿名用户id,anongid为映射的匿名用户组,也就是挂载进容器后,在容器中看到的文件属主。