检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调用NLP大模型 使用“能力调测”调用NLP大模型 使用API调用NLP大模型 统计NLP大模型调用信息 父主题： 开发盘古NLP大模型
开发盘古专业大模型 部署专业大模型
盘古科学计算大模型微调训练实践 微调场景介绍 构建微调训练任务数据集 构建微调训练任务 构建部署任务 微调典型问题 父主题： 模型训练实践
模型调优实践 盘古NLP大模型调优实践 盘古科学计算大模型调优实践
提示词应用示例 应用提示词实现智能客服系统的意图匹配 应用提示词生成面试题目 父主题： 提示词写作实践
安全 责任共担 身份认证与访问控制 数据保护技术 审计
由于请求的实体过大，服务器无法处理，因此拒绝请求。为防止客户端的连续请求，服务器可能会关闭连接。如果只是服务器暂时无法处理，则会包含一个Retry-After的响应信息。 414 Request URI Too Long 请求的URI过长（URI通常为网址），服务器无法处理。 415 Unsupported
模型订阅按照订阅时长预付费，提供1个月到1年供客户选择，自支付完成开始计费。 数据智算单元、数据通算单元支持两种计费方式，包周期订购按使用数量和时长预付费，提供1个月到1年供客户选择，按需订购按单元使用数量和时长后付费，时长精确到秒，数据托管单元按订购数量和时长预付费，提供1个月到1年供客户选择。 模型训练
的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（IAM）和盘古角色管理功能进行精细的权限管理。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户（子用户）进行权限管理，您可以跳过本章节，不影响您使用服务的其他功能。 通过IAM，您可以在华为云账号
的文本数据；如果是计算机视觉任务，则需要图像或视频数据。 数据预处理：数据预处理是数据准备过程中的重要环节，旨在提高数据质量和适应模型的需求。常见的数据预处理操作包括： 去除重复数据：确保数据集中每条数据的唯一性。 填补缺失值：填充数据中的缺失部分，常用方法包括均值填充、中位数填充或删除缺失数据。
盘古大模型的模型订阅、数据托管单元、推理单元默认采用包周期计费，训练单元、数据智算单元、数据通算单元采用包周期和按需计费两种方式。 盘古大模型使用周期内不支持变更配置。
功能类型 使用限制 数据工程-数据格式要求 ModelArts Studio平台支持接入的数据需要满足格式要求，包括文件格式、单个文件大小、所有文本大小以及文件数量等，请参考《用户指南》“使用数据工程构建数据集 > 数据集格式要求”。 模型开发-训练、评测最小数据量要求 使用ModelArts
build(ClientBuilder.java:98) HttpConfig这个类在sdk-core包里面找不到，造成原因为用户使用的sdk版本太老导致，建议使用最新版本的华为云java sdk，运行代码再具体定位。 java.lang.NoSuchFieldError: ALLOW_
计费模式 包周期计费模式属于预付费模式，即先付费再使用。按需计费模式属于后付费模式，即费用根据服务实际消耗量计费，系统将每小时自动扣费。 盘古大模型的计费模式见表1。 表1 计费模式表 计费类别 计费项 计费模式 计费量纲 付费方式 计费周期 模型服务 模型订阅服务 包周期计费 套
型可能在处理特定领域的数据时表现得更好，而另一些模型则可能在更广泛的任务上更为出色。 根据盘古大模型特点调整提示词。 直接使用在其他大模型上有效的提示词，可能无法在盘古大模型上获得相同的效果。为了充分发挥盘古大模型的潜力，建议根据盘古大模型的特点，单独调整提示词。直接使用在其他大
'relation_operator': 'EQUAL-TO'}]}}"} 数据量级要求：本场景使用了30000条数据进行微调。 类似场景需要的微调数据量视具体情况而定，从经验上来说，若实际场景相对简单和通用，使用几千条数据即可；若场景复杂或专业，则需要上万条数据。 数据质量要求： 保证数据的分布和目标需要与实际场景匹配。
过滤不适当内容 ：大模型的训练数据可能包含不适当或有害的内容。使用自然语言处理工具和规则集来检测并过滤掉这些内容，以确保训练数据的安全性和道德性。 同质数据处理 ：同质的数据可能导致模型的偏倚和过拟合。可以使用哈希算法或文本相似度测量方法来检测并去除重复的数据条目。 典型的数据加工方法及示例见表1
对于训练异常或失败的任务可以通过训练日志定位训练失败的原因。典型训练报错和解决方案请参见NLP大模型训练常见报错与解决方案。 训练日志可以按照不同的节点（训练阶段）进行筛选查看。分布式训练时，任务被分配到多个工作节点上进行并行处理，每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的
购买一只给宝贝一个最温暖的拥抱吧！"} 数据量级要求：本场景使用了5000条数据进行微调。 说明：类似场景需要的微调数据量视具体情况而定。从经验上来说，如果实际场景相对单一，比如只需要构建短视频口播文案生成的场景，则使用5000条数据即可；如果场景中涵盖多个细分场景，比如短视频口
配置服务访问授权 配置OBS访问授权 ModelArts Studio大模型开发平台使用对象存储服务（Object Storage Service，简称OBS）进行数据存储，实现安全、高可靠和低成本的存储需求。因此，为了能够顺利进行存储数据、训练模型等操作，需要用户配置访问OBS服务的权限。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
