检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“自定义格式”可以通过自定义格式转换脚本，将数据集转化为适用于其他模型的格式。例如盘古数据集中，context、target字段分别表示问题和答案。
在购买后，如果发现当前计费模式无法满足业务需求，您还可以变更计费模式。详细介绍请参见变更计费模式。 计费项 盘古大模型的计费项由模型订阅服务、训练服务和推理服务费用组成。了解每种计费项的详细信息，请参考计费项。
Security Administrator 统一身份认证服务（除切换角色外）所有权限。 图3 添加用户组权限 设置最小授权范围。 根据授权项策略，系统会自动推荐授权范围方案。
此外，不同类型的NLP大模型在训练过程中，读取中文、英文内容时，字符长度转换为Token长度的转换比有所不同，详见表2。
平台支持发布的数据集格式为默认格式、盘古格式，可按需进行数据集格式转换。 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要进行数据集格式转换。当前仅文本类、图片类数据集支持转换为盘古格式。
在左侧导航栏“空间资产 > 数据”中可以查看当前空间内的数据资产，如果有多个空间的访问权限，可切换空间查看其他空间内的资产。 在“数据发布”页签可查看数据资产，并可对数据集进行删除操作。单击数据集名称可进入详情页面查看数据集的基础信息和操作概览。
调高参数模型会更频繁地切换话题，从而避免生成重复内容。 词汇重复度控制 用于调整模型对频繁出现的词汇的处理方式。调高参数会使模型减少相同词汇的重复使用，促使模型使用更多样化的词汇进行表达。 历史对话保留轮数 选择“多轮对话”功能时具备此参数。表示系统能够记忆的历史对话数。
尤其对于文本类和图片类数据集，平台支持将其转换为专门用于训练盘古大模型的盘古格式，为后续模型训练提供高效的数据支持。 通过整合上述功能，数据工程模块不仅帮助用户高效构建高质量的训练数据集，还推动了模型的精确训练与持续优化，提升了AI应用开发的效率和成果的可靠性。
平台提供一系列数据清洗、过滤、转换等加工操作，旨在确保原始数据能够满足各种业务需求和模型训练的标准。针对不同类型的数据集，平台设计了专用的加工算子（即为特定数据处理任务预定义的操作模块，如文本去重、格式转换、异常处理等），通过这些算子能够高效地处理各类数据。
数据标准化：将数据转换为统一的格式或范围，特别是在处理数值型数据时（如归一化或标准化）。 去噪处理：去除无关或异常值，减少对模型训练的干扰。 数据预处理的目的是保证数据集的质量，使其能够有效地训练模型，并减少对模型性能的不利影响。
在左侧导航栏“空间资产 > 模型”中可以查看当前空间和预置的模型资产，如果有多个空间的访问权限，可切换空间查看其他空间内的资产。 在“本空间”页签可查看模型资产，并可对模型进行删除操作。单击模型名称可进入详情页面查看模型的基础信息。
模型的输入和输出的文本都会被转换成token，然后根据模型的概率分布进行采样或计算。 例如，在英文中，有些组合单词会根据语义拆分，如overweight会被设计为2个token：“over”、“weight”。在中文中，有些汉字会根据语义被整合，如“等于”、“王者荣耀”。
基于爬虫、数据处理平台批量处理收集到的原始数据，需要将文件统一转换成纯文本的txt文件，对错误格式数据进行删除。 构建微调数据。生成垂域微调（问答对）数据，将问答对数据分为：单轮问答数据、多轮问答数据、检索增强问答数据和其他特定的指令任务数据等类型。
单击“and”或者“or”，可以切换该分支表达式的运算逻辑。 图8 IF 分支配置图 “添加分支”可以添加新的分支ELSE IF，新分支的配置方式与IF分支相同。 图9 添加ELSE IF图 单击“确定”，完成参数配置。 连接判断组件和其他组件。
模型的输入和输出的文本都会被转换成token，然后根据模型的概率分布进行采样或者计算。 n 否 Integer 表示对每个问题生成多少条答案。 最小值：1 最大值：2 缺省值：1 说明： 流式只能传1，非流式时可传1和2。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
