检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ts Studio大模型开发平台承载，它提供了包括盘古大模型在内的多种大模型服务，提供覆盖全生命周期的大模型工具链。 产品介绍 立即使用 在线体验 图说ECS 成长地图 由浅入深，带您玩转盘古大模型 01 了解 了解盘古大模型的概念、优势、应用场景以及模型能力与规格，您将更全面地
数据转换 图文异常字符过滤 将文本数据中携带的异常字符替换为空值，数据条目不变。 不可见字符，例如U+0000-U+001F 表情符六 网页标签符号<p> 特殊符号，比如● █ ◆ 乱码和无意义的字符����� 父主题： 数据集加工算子介绍
@huaweicloud/huaweicloud-sdk-core npm i @huaweicloud/huaweicloud-sdk-pangulargemodels 在线生成SDK代码 API Explorer可根据需要动态生成SDK代码功能，降低您使用SDK的难度，推荐使用。 您可以在API Explor
来源一：互联网开源数据集，如政府网站网页、政府在线问答公开数据、政务百科等。 来源二：特定的私域数据，针对于具体场景和项目需求，收集相关的文本数据。比如通过与当地政府的政数局进行合作，获取政府部门提供的内部脱敏数据等。相关的数据格式包括但不限于：在线网页、离线word文档、离线txt文
据集格式要求。 表1 平台支持的数据类型 数据类型 数据内容 支持的文件格式 文本类 文档 txt、mobi、epub、docx、pdf 网页 html 预训练文本 jsonl 单轮问答 jsonl、csv 单轮问答（人设） jsonl、csv 多轮问答 jsonl 多轮问答（人设）
描述 填写评测任务描述。 参数填写完成后，单击“立即创建”，回退至“模型评测 > 人工评测”页面。 当状态为“待评测”时，可以单击操作列“在线评测”进入评测页面。 依据页面提示对评估效果区域进行评测打分，全部数据评测完成后单击“提交”。 图1 人工评测示例 在“人工测评”页面，评
在选择和使用盘古大模型时，了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。以下是盘古专业大模型支持的具体操作： 模型 预训练 微调 模型压缩 在线推理 能力调测 Pangu-NLP-BI-4K-20241130
创建专业大模型部署任务 平台支持部署预置的专业大模型，操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“创建部署”。 在“创建部署”页面，参考表1完成部署参数设置。 表1 专业大模型部署参数说明
查找数据集每一条数据中携带的异常字符，并将异常字符替换为空值，数据条目不变。 不可见字符，比如U+0000-U+001F。 表情符六。 网页标签符号<style></style>。 特殊符号，比如● █ ◆。 乱码和无意义的字符�����。 特殊空格：[\u2000-\u2009]
创建科学计算大模型部署任务 平台支持部署训练后的模型或预置模型，操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“创建部署”。 在“创建部署”页面，参考表1完成部署参数设置。 表1 科学计算大模型部署参数说明
文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 单个文件大小不超过50GB，文件数量最多1000个。 网页 html 单个文件大小不超过50GB，文件数量最多1000个。 预训练文本 jsonl jsonl格式：text表示预训练所使用的文本数据，具体格式示例如下：
压缩NLP大模型 模型在部署前，通过模型压缩可以降低推理显存占用，节省推理资源提高推理性能。 平台当前仅可对NLP大模型进行压缩，支持压缩的模型清单请详见《产品介绍》> “模型能力与规格 > 盘古NLP大模型能力与规格”。 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
创建科学计算大模型训练任务 创建科学计算大模型中期天气要素预测微调任务 创建科学计算大模型中期天气要素预测微调任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”，单击右上角“创建训练任务”。
创建NLP大模型部署任务 平台支持部署训练后的模型或预置模型，操作步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“创建部署”。 在“创建部署”页面，参考表1完成部署参数设置。
重要。不同模型在预训练、微调、模型评测、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。以下是盘古NLP大模型支持的具体操作： 表2 盘古NLP大模型支持的能力 模型 预训练 微调 模型评测 模型压缩 在线推理 能力调测 Pangu-NLP-N1-Chat-32K-20241130
型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。以下是盘古科学计算大模型支持的具体操作： 表2 盘古科学计算大模型支持的操作 模型 预训练 微调 模型评测 模型压缩 在线推理 能力调测 Pangu-AI4S-Ocean_24h-20241130
创建NLP大模型训练任务 创建NLP大模型预训练任务 创建NLP大模型预训练任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”，单击右上角“创建训练任务”。 在“创建训练任务”页面，参考表1完成训练参数设置。
加工数据集 > 数据集加工算子介绍”进行数据加工。 表1 典型数据加工方法 数据加工方法 方法说明 数据加工前 数据加工后 错误数据过滤 移除文本中网页标签符号。 <head>论知识的重要性</head> 论知识的重要性 移除文本中特殊符号，比如● █ ◆ ◪ ► ® ©。 我喜欢荷塘的月色
配置NFS网盘服务。 安装NFS服务 该步骤需要设备联网下载软件依赖包。 Ubuntu系统 在线安装： sudo apt install nfs-kernel-server Euler OS系统 在线安装： sudo yum install nfs-utils 若需离线安装，请联系盘古客服。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
