检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发布具有以下重要意义： 数据比例和结构调整：平台提供灵活的数据比例调整功能，用户可以按需调整数据集的各类数据比例，确保数据集在训练时的代表性和均衡性，从而避免数据分布不均导致的训练问题。 多种数据格式支持：对于文本类、图片类数据集，平台支持多种数据发布格式，包括“默认格式”、“盘
图片类数据集支持发布的格式为： 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要将数据集格式发布为“盘古格式”。 自定义格式：文本类数据集可以使用自定义脚本进行数据格式转换。 发布图片类数据集操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1
本场景采用了下表中的推理参数进行解码，您可以在平台部署后参考如下参数调试： 表3 推理核心参数设置 推理参数 设置值 最大Token限制（max_token） 4096 温度（temperature） 0.3 核采样（top_p） 1.0 话题重复度控制（presence_penalty） 0 部署推理服务后，可以采
管理盘古数据资产 数据资产介绍 用户发布的数据集会被纳入数据资产，集中存储在空间资产中。平台为数据资产提供了一系列管理功能，包括查看数据集的详细信息、追踪操作记录、以及数据集的删除管理等。这不仅便于用户对已发布数据集的集中管理，还可帮助用户了解每个数据集的使用情况，从而简化数据资
判断训练状态是否正常，通常可以通过观察训练过程中Loss（损失函数值）的变化趋势。损失函数是一种衡量模型预测结果和真实结果之间的差距的指标，正常情况下越小越好。 您可以从平台的训练日志中获取到每一步的Loss，并绘制成Loss曲线，来观察其变化趋势。一般来说，一个正常的Loss曲线应该是单调递减的，即随着训练的
大模型使用类问题 盘古大模型是否可以自定义人设 如何将本地的数据上传至平台 导入数据过程中，为什么无法选中OBS的具体文件进行上传 如何查看预置模型的历史版本
使用数据工程准备与处理数据集 数据工程介绍 数据工程使用流程 数据集格式要求 导入数据至盘古平台 加工数据集 标注数据集 评估数据集 发布数据集 数据工程常见报错与解决方案
数据集中的内容不支持，请保证上传的数据格式与平台要求的一致。 get obs bucket folders error. 请检查OBS服务是否正常，是否可以访问OBS桶数据。 数据加工 The task operator not exist. 执行数据加工使用的算子出现异常，请联系服务技术支持解决。 dataset
开发盘古大模型Agent应用 Agent开发平台概述 手工编排Agent应用 创建与管理工作流
在ModelArts Studio大模型开发平台中，使用数据工程创建盘古科学计算大模型数据集流程见表2。 表2 盘古科学计算大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建原始数据集 数据集是指用于模型训练或评测的一组相关数据样本，上传至平台的数据将被创建为原始数据集进行统一管理。
区域项目、全局服务资源。 可以选择“指定区域项目资源”，如指定“西南-贵阳一”区域，即用户组内的IAM用户仅可使用该区域项目中的资源。 可以选择“全局服务资源”，即服务部署时不区分区域，访问全局级服务，不需要切换区域，全局服务不支持基于区域项目授权。如对象存储服务（OBS）、内容分发网络（CDN）等。
请求URI 服务的请求URI即API服务的终端地址，通过该地址与API进行通信和交互。 URI获取步骤如下： 登录ModelArts Studio大模型开发平台。 进入所需工作空间。 获取请求URI。 获取模型请求URI。 若调用部署后的模型，可在左侧导航栏中选择“模型开发 >
并设置该用户在盘古平台中的角色，控制对资源的使用范围。 IAM权限 默认情况下，管理员创建的IAM用户（子用户）没有任何权限，需要将其加入用户组，并对用户组授权，才能使得用户组中的用户获得对应的权限。授权后，用户就可以基于被授予的权限对云服务进行操作。 服务使用OBS存储训练数
获取模型部署ID 模型部署ID获取步骤如下： 登录ModelArts Studio大模型开发平台。 获取模型请求URI。 若调用部署后的模型，可在左侧导航栏中选择“模型开发 > 模型部署”，在“我的服务”页签，模型部署列表单击模型名称，在“详情”页签中，可获取模型的部署ID。 图1 部署后的模型调用路径
决数据中的问题，为后续的模型训练和优化奠定坚实基础。 ModelArts Studio大模型开发平台提供了全面的数据集质量评估工具，能够帮助用户从多个维度检测和优化数据集的质量。平台预设了多种数据类型的基础评估标准，用户可以直接使用这些标准，也可以根据具体的业务需求创建自定义的评
“能力调测”功能支持用户直接调用已部署的预置服务，使用步骤如下： 登录ModelArts Studio大模型开发平台，进入所需空间。 单击左侧“能力调测”，进入“文本对话”页签，选择服务与系统人设，参数设置为默认参数，在输入框输入问题，单击“生成”，模型将基于问题进行回答。 图1 使用预置服务进行文本对话 可
com/videos/101333 。 AppCode认证 当用户部署的API服务期望开放给其他用户调用时，原有Token认证无法支持，可用AppCode认证的鉴权方式进行调用请求。 AppCode认证指调用API时，在HTTP请求头部消息增加一个参数X-Apig-AppCode（参数值为“APPC
排流程的pipeline，将这些模块提供的API接口进行编排，串联query改写、意图识别模块、检索模块和问答模块。该pipeline负责接收前端用户输入的query和历史问答，逐步处理并最终输出答案，展示在前端界面。 在该框架中，query改写模块、中控模块和问答模块由大模型具
整性和一致性，为模型训练提供高质量的输入数据。 提高处理效率：平台预置的多种数据加工算子，帮助用户快速完成数据清洗、转换和处理，减少手动操作，提高数据处理的效率。 满足业务需求：不同类型的数据需要不同的处理方式，平台根据文本、图片、视频、气象等数据类型提供专门的加工工具，满足各种复杂的业务需求。
您可根据任务难度和数据规模进行调整。一般来说，如果目标任务的难度较大或数据量级很小，可以使用较大的训练轮数，反之可以使用较小的训练轮数。 如果您没有专业的调优经验，可以优先使用平台提供的默认值，再结合训练过程中模型的收敛情况动态调整。 数据批量大小（batch_size） >=1 4/8 数据批量大小是指对数据集进行
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
