检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
高质量数据是推动大模型不断迭代和优化的根基，它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据，才能提取出有价值的信息，从而更好地支持模型训练。因此，数据的采集、清洗、标注、评估、发布等环节，成为数据开发中不可或缺的重要步骤。 在ModelArts
如果您需要为企业员工设置不同的访问权限，以实现功能使用权限和资产的权限隔离，可以为不同员工配置相应的角色，以确保资产的安全和管理的高效性。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户（子用户）进行权限管理，您可以跳过本章节，不影响您使用盘古的其他功能。 您可以使用统
创建文本类数据集加工任务 上线加工后的数据集 对加工后的数据集执行上线操作。 上线加工后的文本类数据集 标注数据集（可选） 创建文本类数据集标注任务 创建数据集标注任务，对数据集执行标注操作，标注后的数据可以用于模型训练或评测。 创建文本类数据集标注任务 审核数据集标注结果 对数据集的标注结果进行审核
“默认格式”为数据工程功能支持的原始格式。 “盘古格式”为使用盘古大模型训练或评测时所需要使用的数据格式。 “自定义格式”可以通过自定义格式转换脚本，将数据集转化为适用于其他模型的格式。例如盘古数据集中，context、target字段分别表示问题和答案。对于Alpaca格式的数据集，inst
置为盘古格式。 设置数据集的“资产可见性”，填写数据集名称、描述，设置扩展信息后，单击“确认发布”进行数据集发布操作。 发布后的数据集会作为当前空间的数据资产同步显示在“空间资产 > 数据”页面。单击数据集名称，可以在“数据血缘”页签查看该数据集所经历的操作，如加工、发布操作。 父主题：
续费 包周期服务到期后，您可以通过手动续费来延长服务的有效期。 包周期服务到期后，如果在保留期结束前未完成续费，后续则不能再对已过保留期的服务进行续费操作，需重新购买对应的服务。
json解析报错 服务端返回的数据格式不符合json格式，导致sdk侧解析json数据报错。 服务端返回的json数据不符合json反序列化的规则，和sdk定义的数据结构不一致，导致反序列化失败。 sdk json数据解析问题。 建议排查服务端返回的数据是否和服务SDK设计的结构、字段一致。
期供客户选择，自支付完成开始计费。 数据智算服务、数据通算服务、数据托管服务按服务的单元数量和时长计费，时长精确到秒。 模型训练服务按服务的单元数量和时长计费，时长精确到秒。 模型推理服务按服务的单元数量和时长计费，时长精确到秒。
数据工程工具链 数据是大模型训练的基础，为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分，具备数据获取、清洗、配比和管理等功能。 该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力，对原始数
以通过智能客服处理大部分的常规问题，将人工客服释放出来处理更复杂、更个性化的客户需求；个性化服务：基于大模型的智能客服能够学习和适应用户的行为模式和偏好，提供更加个性化的服务。 农业 科学计算大模型包括全球中期天气要素模型和降水模型，可以对未来一段时间的天气和降水进行预测，全球中
Studio大模型开发平台为开发者提供了一种简单、高效的开发和部署大模型的方式。平台提供了包括数据处理、模型训练、模型部署、Agent开发等功能，以帮助开发者充分利用盘古大模型的功能。企业可以根据自己的需求选取合适的大模型相关服务和产品，方便地构建自己的模型和应用。 数据工程工具链 数据是大模型训练的基础，为大模型提
根据智能客服场景，建议从以下方面考虑： 根据企业实际服务的场景和积累的数据量，评估是否需要构建行业模型，如电商、金融等。 根据每个客户的金牌客服话术，可以对对话模型进行有监督微调，进一步优化其性能。 根据每个客户的实际对话知识，如帮助文档、案例库和FAQ库等，可以使用“先搜后推”的解决方案。客户的文档库可以实时更新，
盘古大模型服务通过多种数据保护手段和特性，保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密（HTTPS） 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS数据保
欠费说明 在使用云服务时，如果账户的可用额度低于待结算账单金额，即被判定为账户欠费。欠费可能会影响云服务资源的正常运行，因此需要及时充值。预付费模式购买后不涉及欠费。 服务按时长计费的，当余额不足以支付当前费用时，账户将被判定为欠费。由于盘古NLP大模型不涉及物理实体资源，因此无
变更计费模式 盘古大模型的模型订阅服务、数据托管服务、推理服务默认采用包周期计费，数据智算服务、数据通算服务、训练服务默认采用按需计费。 盘古大模型使用周期内不支持变更配置。
和大模型组件。 开始：工作流的入口组件，该组件的配置详见配置开始组件。 结束：输出工作流的执行结果，该组件的配置详见配置结束组件。 LLM：初始化完成的大模型节点，没有额外的Prompt配置，直接接受用户原始输入，并输出大模型执行后的原始输出，该组件的配置详见配置大模型组件。 用
实现安全、高可靠和低成本的存储需求。因此，为了能够顺利进行存储数据、训练模型等操作，需要用户配置访问OBS服务的权限。 登录ModelArts Studio大模型开发平台首页。 配置OBS访问授权。 方式1：在首页顶部单击“此处”，在“获取依赖服务的授权”弹窗选中授权，并单击“确认授权”。
用户可以通过调用REST网络的API来访问盘古大模型服务，有以下两种调用方式： Token认证：通过Token认证调用请求。 AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。经过认证的请求总是需要包含一个签名值，该签名值以请求者的访问密钥
些约束限制。 不同模型请求的最大Token数有所不同，具体信息请参见模型能力与规格。 关于模型支持的训练数据量要求，例如NLP大模型，请参考《用户指南》“开发盘古NLP大模型 > 训练NLP大模型 > NLP大模型训练流程与选择建议”。 关于平台接入的数据格式要求，请参考《用户指南》“使用数据工程准备与处理数据集
用任务的基础能力，但还没有针对特定的业务场景进行优化。预训练后的模型主要用于多个任务的底层支持。 通过使用海量的互联网文本语料对模型进行预训练，使模型理解人类语言的基本结构。 微调 关注专业性：微调是对预训练模型的参数进行调整，使其在特定任务中达到更高的精度和效果。微调的核心在于
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
