检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
压缩NLP大模型 模型在部署前，通过模型压缩可以降低推理显存占用，节省推理资源提高推理性能。当前仅支持对NLP大模型进行压缩。采用的压缩方式是INT8，INT8量化压缩可以显著减小模型的存储大小，降低功耗，并提高计算速度。 登录ModelArts Studio大模型开发平台，进入所需操作空间。
提示词写作实践 提示词工程介绍 提示词写作常用方法论 提示词写作进阶技巧 提示词应用示例
获取模型部署ID 模型部署ID获取步骤如下： 登录ModelArts Studio大模型开发平台。 获取模型请求URI。 若调用部署后的模型，可在左侧导航栏中选择“模型开发 > 模型部署”，在“我的服务”页签，模型部署列表单击模型名称，在“详情”页签中，可获取模型的部署ID。 图1
说明 自监督学习 自监督学习（Self-Supervised Learning，简称SSL）是一种机器学习方法，它从未标记的数据中提取监督信号，属于无监督学习的一个子集。该方法通过创建“预设任务”让模型从数据中学习，从而生成有用的表示，可用于后续任务。它无需额外的人工标签数据，因为监督信号直接从数据本身派生。
图3 创建加工数据集 单击“下一步”进入“算子编排”页面。对于图片类数据集，可选择的加工算子及参数配置请参见表1、表2。 在左侧“添加算子”模块勾选所需算子。 在右侧“加工步骤编排”页面配置各算子的参数，可通过右侧按钮，拖拽算子的上下顺序来调整算子在加工任务流中的执行顺序。 算子编排
发，全程0代码开发，极大降低大模型开发门槛。 功能强，Agent开发“好” Agent开发提供便捷搭建大模型应用功能，并提供功能强大的插件配置，让Agent能力更强，更专业。 统一管，资产管理“全” ModelArts Studio大模型开发平台数据、模型、Agent应用在统一的
支持您添加或去除新的高空层次，训练任务会根据您配置的高空层次对模型重新进行训练。 高空变量 设置训练数据的高空变量信息，在“预训练”的场景中也支持您添加或去除新的高空变量，选择后会在变量权重中增加或去除该变量权重，训练任务会根据您配置的高空变量对模型重新进行训练。 表面变量 设置
部署NLP大模型 创建NLP大模型部署任务 查看NLP大模型部署任务详情 管理NLP大模型部署任务 父主题： 开发盘古NLP大模型
设置发布格式。由于数据工程需要支持对接盘古大模型或三方大模型，为了使这些数据集能够被这些大模型正常训练，平台支持发布不同格式的数据集。 在“格式配置”分页，选择发布格式，单击“下一步”。当前支持默认格式、盘古格式、自定义格式： “默认格式”为数据工程功能支持的原始格式。 “盘古格式”为
设置发布格式。由于数据工程需要支持对接盘古大模型或三方大模型，为了使这些数据集能够被这些大模型正常训练，平台支持发布不同格式的数据集。 在“格式配置”分页，选择发布格式，单击“下一步”。当前支持默认格式、盘古格式、自定义格式： “默认格式”为数据工程功能支持的原始格式。 “盘古格式”为
Key（SK）。下载的访问密钥为credentials.csv文件，包含AK/SK信息。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 使用推理SDK章节示例代码均以ak和sk保存在环境变量中来实现身份验证。 登录“我的凭
本场景采用了下表中的推理参数进行解码，您可以在平台部署后参考如下参数调试： 表3 推理核心参数设置 推理参数 设置值 最大Token限制（max_token） 4096 温度（temperature） 0.3 核采样（top_p） 1.0 话题重复度控制（presence_penalty） 0 部署推理服务后，可以
Agent开发 Agent开发平台为开发者提供了一个全面的工具集，帮助您高效地开发、优化和部署应用智能体。无论您是新手还是有经验的开发者，都能通过平台提供的提示词工程、插件扩展、灵活的工作流设计和全链路调测功能，快速实现智能体应用的开发与落地，加速行业AI应用的创新与应用。 对于零码开发者（无代码开发经验的用户）：
通过访问密钥（AK/SK）认证方式进行认证鉴权，即使用Access Key ID（AK）/Secret Access Key（SK）加密的方法来验证某个请求发送者身份。 父主题： 安全
部署科学计算大模型 创建科学计算大模型部署任务 查看科学计算大模型部署任务详情 管理科学计算大模型部署任务 父主题： 开发盘古科学计算大模型
据的方案，供您参考： 基于规则构建：您可以通过采用一些简单的规则来构建有监督数据。比如： 表1 采用规则将无监督数据构建为有监督数据的常用方法 规则场景 说明 文本生成：根据标题、关键词、简介生成段落。 若您的无监督文档中含标题、关键词、简介等结构化信息，可以将有监督的问题设置为
步处理并最终输出答案，展示在前端界面。 在该框架中，query改写模块、中控模块和问答模块由大模型具体实现，因此涉及到大模型的训练、优化、部署与调用等流程。pipeline编排流程可以基于python代码实现，也可以人工模拟每一步的执行情况。检索模块可以使用Elastic Sea
单击“下一步”进入“算子编排”页面。对于文本类数据集，可选择预置加工算子，请参见文本类加工算子能力清单。 在左侧“添加算子”模块勾选所需算子。 在右侧“加工步骤编排”页面配置各算子的参数，可通过右侧按钮，拖拽算子的上下顺序来调整算子在加工任务流中的执行顺序。 算子编排过程中，可以单击右上角“保存为新模板”将当前
output TaskOutputDto object 输出数据的信息。 config TaskConfigDto object 科学计算大模型配置信息。 表3 TaskInputDto 参数 参数类型 描述 type String 存储类型。 data Array of ObsStorageDto
在模型训练列表中查看训练任务的状态，各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 已发布 模型已经训练完成并进行发布，用户可以使用模型进行部署、推理操作。 训练完成 模型训练已经成功完成。 训练中 模型正在训练中，训练过程尚未结束。 训练失败 模型训练过程中出现错误，需查看日志定位训练失败原因。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
