检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请检查OBS服务是否正常，是否可以访问OBS桶数据。 数据加工 dataset is not online. 数据加工使用的数据集未上线，请先执行上线操作。 invalid obs path. 请检查数据集对应的OBS路径是否有效，是否可正常访问。 数据标注 annotate data
订购盘古大模型服务 正式使用盘古大模型服务前，需要完成服务的订购操作。 订购盘古大模型服务 配置服务访问授权 为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 配置服务访问授权 创建并管理盘古工作空间 平台支持用户自定义创建工作空间，并进行空间的统一管理。 创建并管理盘古工作空间
文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 单个文件大小不超过50GB，文件数量最多1000个。 网页 html 单个文件大小不超过50GB，文件数量最多1000个。 预训练文本 jsonl jsonl格式：text表示预训练所使用的文本数据，具体格式示例如下：
由浅入深，带您玩转盘古大模型 01 了解 了解盘古大模型的概念、优势、应用场景以及模型能力与规格，您将更全面地掌握其强大功能，助力您在不同领域实现创新，加速业务智能化升级。 产品介绍 什么是盘古大模型 产品优势 应用场景 产品功能 模型能力与规格 基础知识 03 入门 通过快速入门引导，您将快速熟悉平台的核
文本类加工算子介绍 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持文本类数据集的加工操作，分为数据提取、数据转换、数据过滤三类，文本类加工算子能力清单见表1。
安全 责任共担 身份认证与访问控制 数据保护技术 审计
Payment Required 保留请求。 403 Forbidden 请求被拒绝访问。 返回该状态码，表明请求能够到达服务端，且服务端能够理解用户请求，但是拒绝做更多的事情，因为该请求被设置为拒绝访问，建议直接修改该请求，不要重试该请求。 404 Not Fou 所请求的资源不存在。
这个字段是jackson-core里面用来标识解析json格式数据是否支持前导小数点的字段，这个报错的意思是找不到这个字段，很可能是因为用户使用的jackson版本太老导致。 建议客户本地将jackson版本升级到和华为云java sdk一致，jackson版本要求请见pom.xml。 引用华为云java sdk
来源一：互联网开源数据集，如政府网站网页、政府在线问答公开数据、政务百科等。 来源二：特定的私域数据，针对于具体场景和项目需求，收集相关的文本数据。比如通过与当地政府的政数局进行合作，获取政府部门提供的内部脱敏数据等。相关的数据格式包括但不限于：在线网页、离线word文档、离线txt文
插件服务的请求方式，POST或GET。 权限校验 选择调用API时是否需要通过鉴权才可以调用。 无需鉴权：API可以公开访问，不需要任何形式的身份验证或授权。 用户级鉴权：需要用户提供身份验证信息来访问API。 需填写密钥位置，即密钥是从Header中读取还是Query中读取。并设置密钥鉴权参数名、密
加工数据集 > 数据集加工算子介绍”进行数据加工。 表1 典型数据加工方法 数据加工方法 方法说明 数据加工前 数据加工后 错误数据过滤 移除文本中网页标签符号。 <head>论知识的重要性</head> 论知识的重要性 移除文本中特殊符号，比如● █ ◆ ◪ ► ® ©。 我喜欢荷塘的月色
Studio大模型开发平台为用户提供了灵活且高效的空间资产管理方式。平台支持用户根据不同的使用场景、项目类别或团队需求，自定义创建多个工作空间。每个工作空间都是完全独立的，确保了工作空间内的资产不受其他空间的影响，从而保障数据和资源的隔离性与安全性。用户可以根据需求灵活划分工作空间
请确认是否已开通该API服务。 PANGU.3308 The accessed API does not match the existing API. 访问的API与已开通的API服务不匹配。 请确认调用的API是否填写错误。 PANGU.3315 The accessed API's model
该路径的存储空间能够存储大模型文件。此处设置/var/docker/hilens作为网盘根目录 ，将会在容器里访问该路径。执行： sudo mkdir -p /var/docker/hilens 该路径的访问权限需设置为：1000:100（与/etc/exports配置保持一致），执行： sudo chmod
署模式，能够满足不同场景的需求。通过灵活的API接口，模型可以无缝集成到各类应用中。 模型调用：在模型部署后，用户可以通过模型调用功能快速访问模型的服务。平台提供了高效的API接口，确保用户能够方便地将模型嵌入到自己的应用中，实现智能对话、文本生成等功能。 父主题： 产品功能
使用API调用NLP大模型 预置模型或训练后的模型部署成功后，可以使用“文本对话”API实现模型调用。 表1 NLP大模型API清单 API分类 API访问路径（URI） 文本对话 /v1/{project_id}/deployments/{deployment_id}/chat/completions
部分模型资产支持边缘部署方式，若选择“边缘部署”： 本地挂载路径（选填）：在容器内部将卷挂载的本地路径。挂载后，容器中的应用程序可以通过这个路径访问宿主机上的数据。 资源池：选择部署模型所需的边缘资源池，创建边缘资源池步骤请详见创建边缘资源池。 CPU：部署需要使用的最小CPU值（物理核）。
Agent开发平台支持将创建好的应用进行API调用。在调用应用前，请先参考手动编排应用，完成创建应用操作。 获取调用路径 应用的调用路径获取步骤如下： 登录ModelArts Studio大模型开发平台，单击“Agent开发”，进入Agent开发平台。 在“工作台 > 应用”页面，单击所需应用的“
创建NLP大模型评测数据集操作。 预训练的NLP大模型不支持评测。 创建NLP大模型自动评测任务 创建NLP大模型自动评测任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型评测 > 任
发布训练后的NLP大模型 NLP大模型训练完成后，需要执行发布操作，操作步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”，单击模型名称进入任务详情页。 单击进入“训练结果”页签，单击“发布”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
