检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
来源一：互联网开源数据集，如政府网站网页、政府在线问答公开数据、政务百科等。 来源二：特定的私域数据，针对于具体场景和项目需求，收集相关的文本数据。比如通过与当地政府的政数局进行合作，获取政府部门提供的内部脱敏数据等。相关的数据格式包括但不限于：在线网页、离线word文档、离线txt文
基于标签路径提取HTML数据内容，并将其他与待提取标签路径无关的内容删除。 电子书内容提取 从电子书中提取出所有文本内容。 智能文档解析 从PDF（支持扫描版）或图片中提取文本，转化为结构化数据，持文本、表格、表单、公式等内容提取。 数据转换 个人数据脱敏 对文本中的电话号码、邮箱、身份证、车牌号
数据转换 图文异常字符过滤 将文本数据中携带的异常字符替换为空值，数据条目不变。 不可见字符，比如U+0000-U+001F 表情符六 网页标签符号<p> 特殊符号，比如● █ ◆ 乱码和无意义的字符����� 图片类加工算子能力清单 表2 图片类加工算子功能表 算子分类 算子名称
数据集中若存在异常数据，可通过数据集加工功能去除异常字符、表情符号、个人敏感内容等。 说明： 盘古NLP大模型仅支持接入文本类数据集。 若数据类型为文档、网页，则加工数据集为必选项，否则为可选项。 创建文本类数据集加工任务 上线加工后的数据集 对加工后的数据集执行上线操作。 上线加工后的文本类数据集
文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB。 网页 html 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB。 预训练文本 jsonl jsonl格式：text表示预
此版本在Studio上首次发布，用于海洋基础要素预测，支持在线推理、能力调测特性，可以Snt9B3部署，可支持1个推理单元部署推理。 Pangu-AI4S-Ocean_Regional_24h-20241030 此版本在Studio上首次发布，用于区域海洋基础要素预测，支持预训练、微调、在线推理、能力调测特性，基于
本支持全量微调、LoRA微调、INT8量化、断点续训、在线推理和能力调测特性。 Pangu-NLP-N1-Chat-128K-20241030 128K 此版本是2024年10月发布的十亿级模型版本，支持128K序列长度在线推理。基于Snt9B3卡支持8卡推理部署，此模型版本仅支
平台支持的数据类型 数据类型 数据内容 数据文件格式要求 文本类 文档 支持txt、mobi、epub、docx、pdf，详见文本类数据集格式要求。 网页 支持html，详见文本类数据集格式要求。 预训练文本 支持jsonl，详见文本类数据集格式要求。 单轮问答 支持jsonl、csv，详见文本类数据集格式要求。
用于天气基础要素预测，时间分辨率为1小时。 支持预训练、微调、在线推理、能力调测特性，基于Snt9B33，支持1个训练单元训练及1个推理单元部署。 Pangu-AI4S-Weather_3h-20241030 用于天气基础要素预测，时间分辨率为3小时。 支持预训练、微调、在线推理、能力调测特性，基于Snt9B
INT8量化、断点续训、在线推理和能力调测特性。单卡部署4K模型版本支持64并发，单卡部署32K模型版本支持32并发。 Pangu-NLP-N1-Chat-128K-20241030 128K 此版本是2024年10月发布的十亿级模型版本，支持128K在线推理。基于Snt9B3卡
@huaweicloud/huaweicloud-sdk-core npm i @huaweicloud/huaweicloud-sdk-pangulargemodels 在线生成SDK代码 API Explorer可根据需要动态生成SDK代码功能，降低您使用SDK的难度，推荐使用。 您可以在API Explor
ts Studio大模型开发平台承载，它提供了包括盘古大模型在内的多种大模型服务，提供覆盖全生命周期的大模型工具链。 产品介绍 立即使用 在线体验 图说ECS 成长地图 由浅入深，带您玩转盘古大模型 01 了解 了解盘古大模型的概念、优势、应用场景以及模型能力与规格，您将更全面地
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
