检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"target":"你好，请问有什么可以帮助你的？"},{"context":"请介绍一下华为云的产品。","target":"华为云提供包括但不限于计算、存储、网络等产品服务。"}] 单个文件大小不超过50GB，文件数量最多1000个。。 多轮问答（人设） jsonl jsonl格式：数组格式，至少由
使用“能力调测”调用NLP大模型 能力调测功能支持用户调用预置或训练后的NLP大模型。使用该功能前，请完成模型的部署操作，步骤详见创建NLP大模型部署任务。 使用“能力调测”调用NLP大模型可实现文本对话能力，即在输入框中输入问题，模型将基于问题输出相应的回答，具体步骤如下： 登录ModelArts
过微调之后，才可支持推理部署。 Pangu-NLP-N2-Chat-32K-20241030 32K 2024年10月发布版本，支持8K序列长度训练，4K/32K序列长度推理。全量微调32个训练单元起训，LoRA微调8个训练单元起训，4个推理单元即可部署。此模型版本差异化支持预训练特性、INT8量化特性。
提供准确的预测结果。 应用与部署：当大模型训练完成并通过验证后，进入应用阶段。主要包括以下几个方面： 模型优化与部署：将训练好的大模型部署到生产环境中，可能通过云服务或本地服务器进行推理服务。此时要考虑到模型的响应时间和并发能力。 模型监控与迭代：部署后的模型需要持续监控其性能，
大模型服务。 准备工作 申请试用盘古大模型服务 订购盘古大模型服务 配置服务访问授权 创建并管理盘古工作空间 04 AI一站式流程 通过一站式流程，完成从数据导入、数据加工、数据发布、模型训练、模型压缩、模型部署、模型评测到模型调用，全面掌握盘古大模型的开发过程。同时，结合应用开
准备工作 申请试用盘古大模型服务 订购盘古大模型服务 配置服务访问授权 创建并管理盘古工作空间
压缩NLP大模型 模型在部署前，通过模型压缩可以降低推理显存占用，节省推理资源提高推理性能。 当前仅支持对NLP大模型进行压缩。 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型压缩”，单击界面右上角“创建压缩任务”。
在“创建流通任务”页面，选择数据集模态，如“图片 > 图片+Caption”类型的数据集。 图1 选择数据集模态 选择数据集，单击“下一步”。 在“格式配置”选择发布格式。由于数据工程需要支持对接盘古大模型，为了使这些数据集能够被这些大模型正常训练，平台支持发布不同格式的数据集。 当前支持默认格式、盘古格式：
构造请求 本节介绍REST API请求的组成，并以调用服务的获取用户Token接口说明如何调用API。 您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987 。 请求示例如图1，一个请求主要由请求U
在“创建流通任务”页面，选择数据集模态，如“文本 > 预训练文本”类型的数据集。 图1 选择数据集模态 选择数据集，单击“下一步”。 在“格式配置”选择发布格式。由于数据工程需要支持对接盘古大模型或三方大模型，为了使这些数据集能够被这些大模型正常训练，平台支持发布不同格式的数据集。 当前支持默认格式、盘古格式：
在“创建评测任务”页面，参考表1完成部署参数设置。 表1 NLP大模型自动评测任务参数说明 参数分类 参数名称 参数说明 选择服务 模型来源 选择“NLP大模型”。 服务来源 支持已部署服务、外部服务两种选项。单次最多可评测10个模型。 已部署服务：选择部署至ModelArts Studio平台的模型进行评测。
获取模型请求URI。 若调用部署后的模型，可在左侧导航栏中选择“模型开发 > 模型部署”，在“我的服务”页签，模型部署列表单击模型名称，在“详情”页签中，可获取模型的请求URI。 图1 部署后的模型调用路径 若调用预置模型，可在左侧导航栏中选择“模型开发 > 模型部署”，在“预置服务”页
在“创建流通任务”页面，选择数据集模态，如“其他 > 自定义”类型的数据集。 图1 选择数据集模态 选择数据集，单击“下一步”。 在“格式配置”选择发布格式。当前其他类数据集仅支持发布默认格式。 填写数据集名称、描述，设置数据集“资产可见性”，设置扩展信息后，单击“确定”执行数据集流通操作。
在“创建流通任务”页面，选择数据集模态，如“预测 > 时序”类型的数据集。 图1 选择数据集模态 选择数据集，单击“下一步”。 在“格式配置”选择发布格式。当前预测类数据集仅支持发布默认格式。 填写数据集名称、描述，设置数据集“资产可见性”，设置扩展信息后，单击“确定”执行数据集流通操作。
在“创建流通任务”页面，选择数据集模态，如“气象 > 气象数据”类型的数据集。 图1 选择数据集模态 选择数据集，单击“下一步”。 在“格式配置”选择发布格式。当前气象类数据集仅支持发布默认格式。 填写数据集名称、描述，设置数据集“资产可见性”，设置扩展信息后，单击“确定”执行数据集流通操作。
Agent开发 Agent开发平台为开发者提供了一个全面的工具集，帮助您高效地开发、优化和部署应用智能体。无论您是新手还是有经验的开发者，都能通过平台提供的提示词工程、插件扩展、灵活的工作流设计和全链路调测功能，快速实现智能体应用的开发与落地，加速行业AI应用的创新与应用。 对于零码开发者（无代码开发经验的用户）：
在“创建流通任务”页面，选择数据集模态，如“视频 > 仅视频”类型的数据集。 图1 选择数据集模态 选择数据集，单击“下一步”。 在“格式配置”选择发布格式。当前视频类数据集仅支持发布默认格式。 填写数据集名称、描述，设置数据集“资产可见性”，设置扩展信息后，单击“确定”执行数据集流通操作。
Key（SK）。下载的访问密钥为credentials.csv文件，包含AK/SK信息。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 使用推理SDK章节示例代码均以ak和sk保存在环境变量中来实现身份验证。 登录“我的凭
删除应用属于高危操作，删除前，请确保该应用不再使用。 导出、导入应用 平台支持导出和导入应用。导出应用时，将同步导出应用关联的插件和工作流等配置。 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“Agent开发”，跳转至Agent开发平台。
进入“清洗步骤编排”页面。对于视频类数据集，可选择的清洗算子请参见表1。 在左侧“添加算子”分页勾选所需算子。 在右侧“清洗步骤编排”页面配置各算子参数，可拖动右侧“”以调整算子执行顺序。 图1 算子编排 在编排过程中，可单击右上角“保存为新模板”将当前编排流程保存为模板。后续创
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
