检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产品优势 预置多，数据工程“易” ModelArts Studio大模型开发平台预置多种数据处理AI算子，多种标注工具，满足用户多任务多场景需求，提高开发/标注效率>10X。 0代码，模型开发“简” ModelArts Studio大模型开发平台预置盘古系列预训练大模型，支持快速
古大模型能力通过ModelArts Studio大模型开发平台承载，它提供了包括盘古大模型在内的多种大模型服务，提供覆盖全生命周期的大模型工具链。 产品介绍 立即使用 在线体验 图说ECS 成长地图 由浅入深，带您玩转盘古大模型 01 了解 了解盘古大模型的概念、优势、应用场景以
Token计算器 功能介绍 为了帮助用户更好地管理和优化Token消耗，平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量，提供费用预估，并优化数据预处理策略。 URI POST /v1/{project_id}/deployment
功能总览 功能总览 全部 数据工程工具链 模型开发工具链 应用开发工具链 能力调测 应用百宝箱 数据工程工具链 数据是大模型训练的基础，为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分，具备数据获取、清洗、配比和管理等功能。 该工具链能够高效收集和处理各种格
供的内部脱敏数据等。相关的数据格式包括但不限于：在线网页、离线word文档、离线txt文件、离线excel表格、离线PDF文件、扫描版word文档、扫描版PDF文件等。 微调数据要求： 数据格式样例：JSONL格式，每行是一条JSON，包含“context”和“target”两个字段。示例如下：
地执行，为实际应用提供强大的智能支持。 模型训练：在模型开发的第一步，ModelArts Studio大模型开发平台为用户提供了丰富的训练工具与灵活的配置选项。用户可以根据实际需求选择合适的模型架构，并结合不同的训练数据进行精细化训练。平台支持分布式训练，能够处理大规模数据集，从而帮助用户快速提升模型性能。
台配备数据工程、模型开发、应用开发三大工具链，帮助开发者充分利用盘古大模型的功能。通过该平台，企业可根据需求选择合适的盘古NLP大模型、科学计算大模型等服务，便捷地构建自己的模型和应用 数据工程工具链：数据是大模型训练的核心基础。数据工程工具链作为平台的重要组成部分，具备数据获取
使用盘古加工算子构建单轮问答数据集 场景描述 此示例演示了如何使用加工算子轻松构建单轮问答数据集。数据集的加工算子是一种灵活的数据预处理工具，能够帮助您将原始数据转化为所需的格式。通过使用加工算子，您可以提取、转换、过滤原始数据，生成适合大模型训练的数据集。 准备工作 请提前准备
Agent开发 Agent开发平台为开发者提供了一个全面的工具集，帮助您高效地开发、优化和部署应用智能体。无论您是新手还是有经验的开发者，都能通过平台提供的提示词工程、插件扩展、灵活的工作流设计和全链路调测功能，快速实现智能体应用的开发与落地，加速行业AI应用的创新与应用。 对于零码开发者（无代码开发经验的用户）：
数据工程工具链还提供强大的数据存储和管理能力，为大模型训练提供高质量的数据支撑。 模型开发工具链 模型开发工具链是盘古大模型服务的核心组件，提供从模型创建到部署的一站式解决方案。 该工具链具备模型训练、部署、推理等功能，通过高效的推理性能和跨平台迁移工具，模型开发工具链能够保障模型在不同环境中的高效应用。
基于标签路径提取HTML数据内容，并将其他与待提取标签路径无关的内容删除。 电子书内容提取 从电子书中提取出所有文本内容。 智能文档解析 从PDF（支持扫描版）或图片中提取文本，转化为结构化数据，持文本、表格、表单、公式等内容提取。 数据转换 个人数据脱敏 对文本中的电话号码、邮箱、身份证、车
使用SDK前，需要安装“huaweicloud-sdk-core”和“huaweicloud-sdk-pangulargemodels”。 请在SDK中心获取最新的sdk包版本，替换示例中版本。 表1 安装推理SDK SDK语言 安装方法 Java 在您的操作系统中下载并安装Maven，安装完成后您只需要在Java项目的pom
型Agent，如金融分析助手、网络检测助手等。 知识型Agent：以大模型为任务执行核心，用户通过配置Prompt、知识库、工具、规划模式等信息，实现工具自主规划与调用，优点是可零码开发，对话过程更为智能，缺点是当大模型受到输入限制，难以执行链路较长且复杂的流程。 流程型Agen
常见问题 使用java sdk出现第三方库冲突 当出现第三方库冲突的时，如Jackson，okhttp3版本冲突等。可以引入如下bundle包(3.0.40-rc版本后)，该包包含所有支持的服务和重定向了SDK依赖的第三方软件，避免和业务自身依赖的库产生冲突： <dependency>
在空间成员以及编辑所在空间成员角色的权限。 模型开发工程师 可以执行模型开发工具链模块的所有操作，但是不能创建或者删除计算资源，也不能修改所在空间本身。 应用开发工程师 应用开发工程师具备执行应用开发工具链模块所有操作的权限，其余角色不具备。 标注管理员 拥有数据工程数据标注-标注管理模块的所有权限，其余角色不具备。
减少手动操作，提高数据处理的效率。 满足业务需求：不同类型的数据需要不同的处理方式，平台根据文本、图片、视频、气象等数据类型提供专门的加工工具，满足各种复杂的业务需求。 增强模型性能：通过合适的数据加工，可以提高数据的可用性，进而提升模型的训练效果，使其具备更高的精度和鲁棒性。
帮助人们理解图片所表达的信息。 图片：图片以tar包格式存储，可以多个tar包。tar包存储原始的图片，每张图片命名要求唯一（如abc.jpg）。 Caption：jsonl格式，图片描述jsonl文件放在最外层目录，一个tar包对应一个jsonl文件，文件内容中每一行代表一段文本，具体格式示例如下：
以及理解大语言模型能力方面都起着重要作用。用户可以通过提示词工程来提高大语言模型的安全性，还可以赋能大语言模型，如借助专业领域知识和外部工具来增强大语言模型的能力。 提示词基本要素 您可以通过简单的提示词（Prompt）获得大量结果，但结果的质量与您提供的信息数量和完善度有关。
阶段识别并解决数据中的问题，为后续的模型训练和优化奠定坚实基础。 ModelArts Studio大模型开发平台提供了全面的数据集质量评估工具，能够帮助用户从多个维度检测和优化数据集的质量。平台预设了多种数据类型的基础评估标准，用户可以直接使用这些标准，也可以根据具体的业务需求创
为韩语，pt为葡萄牙语，ja为日语，th为泰语，tr为土耳其语，es为西班牙语，en为英语，vi为越南语，zh为中文。请注意：不要使用任何工具、不用理会问题的具体含义，并保证你的输出仅有json格式的结果数据，以保证返回结果可以被json.dumps直接解析。你的返回格式格式示例
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
