检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据工程 ModelArts Studio大模型开发平台提供了全面的数据工程功能，支持从数据源导入到数据质量控制的全流程管理。该模块涵盖数据获取、加工、标注、评估和发布等关键环节，帮助用户高效构建高质量的训练数据集，推动AI应用的成功落地。具体功能如下： 数据获取：用户可以轻松将多种类型的数据导入ModelArts
403 Forbidden 请求被拒绝访问。 返回该状态码，表明请求能够到达服务端，且服务端能够理解用户请求，但是拒绝做更多的事情，因为该请求被设置为拒绝访问，建议直接修改该请求，不要重试该请求。 404 Not Fou 所请求的资源不存在。 建议直接修改该请求，不要重试该请求。 405
在左侧导航栏中选择“数据工程 > 数据加工”，单击界面右上角“创建加工数据集”。 图2 数据加工 在“创建加工数据集”页面，选择需要加工的视频类数据集，并设置数据集的名称和描述信息。 选择数据集时，默认选择当前空间的数据集。如果用户具备其他空间的访问权限，可以选择来自其他空间的数据集。 图3 创建加工数据集
在左侧导航栏中选择“数据工程 > 数据加工”，单击界面右上角“创建加工数据集”。 图2 数据加工 在“创建加工数据集”页面，选择需要加工的文本类数据集，并设置数据集的名称和描述。 选择数据集时，默认选择当前空间的数据集。如果用户具备其他空间的访问权限，可以选择来自其他空间的数据集。 图3 创建加工数据集
在左侧导航栏中选择“数据工程 > 数据加工”，单击界面右上角“创建加工数据集”。 图2 数据加工 在“创建加工数据集”页面，选择需要加工的气象类数据集，并设置数据集的名称和描述信息。 选择数据集时，默认选择当前空间的数据集。如果用户具备其他空间的访问权限，可以选择来自其他空间的数据集。 图3 创建加工数据集
在左侧导航栏中选择“数据工程 > 数据加工”，单击界面右上角“创建加工数据集”。 图2 数据加工 在“创建加工数据集”页面，选择需要加工的图片类数据集，并设置数据集的名称和描述信息。 选择数据集时，默认选择当前空间的数据集。如果用户具备其他空间的访问权限，可以选择来自其他空间的数据集。 图3 创建加工数据集
查看对应编程语言类型的SDK代码。 图1 获取SDK代码示例 当您在中间填充栏填入对应内容时， 右侧代码示例会自动完成参数的组装。 图2 设置输入参数 填写输入参数时，deployment_id为模型部署ID，获取方式如下： 若调用部署后的模型，可在左侧导航栏中选择“模型开发 >
型的收敛情况动态调整。 学习率衰减比率（learning_rate_decay_ratio） 0~1 0.01~0.1 学习率衰减比率用于设置训练过程中的学习率衰减的最小值。计算公式为：最小学习率=学习率*学习率衰减比率。 参数的选择没有标准答案，您需要根据任务的实际情况进行调整，以上建议值仅供参考。
调试Agent应用 平台提供对Agent执行过程的全链路信息观测与调试调优，通过对信息的分层分析和展示，为开发者提供了AI应用在不同层级的运行情况指导和操作，提升观测和调试效率。通过Insight提供了Agent的运行和观测能力。创建并运行Agent后，可通过单击Insight查
自定义关键词过滤 剔除包含关键词的数据。 敏感词过滤 对文本中涉及黄色、暴力、政治、机密和知识产权等敏感数据进行自动检测和过滤。 文本长度过滤 按照设置的文本长度，对长度范围内的数据进行保留。 冗余信息过滤 查找文本中的冗余信息并替换为空值，不改变数据条目。例如目录封面、图注表注、标注说明
起报时间间隔小时数，默认6。取值范围：[1, 24]。 forecast_lead_hours 否 Long 预报未来小时数，默认168。如需预报未来30天，可将此参数设置成720。 draw_figures 否 String 是否输出结果图片，取值true/false，默认true。 forecast_features
使用“能力调测”调用NLP大模型 平台提供的“能力调测”功能支持用户直接调用预置模型或经过训练的模型。使用该功能前，需完成模型的部署操作，详见创建NLP大模型部署任务。 NLP大模型支持文本对话能力，在输入框中输入问题，模型就会返回对应的答案内容。 图1 调测NLP大模型 表1 NLP大模型能力调测参数说明
安全 责任共担 身份认证与访问控制 数据保护技术 审计
请求URI 服务的请求URI即API服务的终端地址，通过该地址与API进行通信和交互。 URI获取步骤如下： 登录ModelArts Studio大模型开发平台。 进入所需工作空间。 获取请求URI。 获取模型请求URI。 若调用部署后的模型，可在左侧导航栏中选择“模型开发 >
基本概念 账号 用户注册华为云时的账号，账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户，是云
可对部署任务执行执行描述、删除等操作。 管理NLP大模型部署任务 调用NLP大模型 使用“能力调测”调用NLP大模型 使用该功能调用部署后的预置服务进行文本对话，支持设置人设和参数等。 使用“能力调测”调用NLP大模型、《快速入门》“使用盘古预置NLP大模型进行文本对话” 使用API调用NLP大模型 可调用
数据集标注场景介绍 数据标注概念 数据标注是数据工程中的关键步骤，旨在为无标签的数据集添加准确的标签，从而为模型训练提供有效的监督信号。标注数据的质量直接影响模型的训练效果和精度，因此高效、准确的标注过程至关重要。数据标注不仅仅是人工输入，它还涉及对数据内容的理解和分类，以确保标签精准地反映数据的特征和用途。
使用盘古NLP大模型创建Python编码助手应用 场景描述 该示例演示了如何使用盘古NLP大模型创建Python编码助手执行应用，示例将使用Agent开发平台预置的Python解释器预置插件。 “Python解释器插件”能够执行用户输入的Python代码，并获取结果。此插件为应用
配置插件 配置插件的步骤如下： 在“高级配置 > 插件”，单击“添加”。 图1 配置插件 在“添加插件”窗口，选择预置插件或个人插件，单击进行添加，最后单击“确定”。若想创建插件可单击右上角“创建插件”，创建插件的步骤请参见创建插件。 图2 添加插件 添加插件后，可在“高级配置”中查看当前已添加的插件。
大模型开发基本概念 大模型相关概念 概念名 说明 大模型是什么 大模型是大规模预训练模型的简称，也称预训练模型或基础模型。所谓预训练模型，是指在一个原始任务上预先训练出一个初始模型，然后在下游任务中对该模型进行精调，以提高下游任务的准确性。大规模预训练模型则是指模型参数达到千亿、
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
