检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表1 CV大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“CV大模型”。 部署模型 选择需要进行部署的模型。 部署方式 选择“云上部署”。 安全护栏 选择模式 安全护栏保障模型调用安全。 选择类型 当前支持安全护栏基础版，内置了默认的内容审核规则。
填写输入参数时，deployment_id为模型部署ID，获取方式如下： 若调用部署后的模型，可在左侧导航栏中选择“模型开发 > 模型部署”，在“我的服务”页签，模型部署列表单击模型名称，在“详情”页签中，可获取模型的部署ID。 图3 部署后的模型调用路径 若调用预置模型，可在左侧导航栏中选择“模型开发
查看CV大模型部署任务详情 部署任务创建成功后，可以查看大模型部署的任务详情，具体步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，完成创建CV大模型部署任务后，可以查看模型的部署状态。
会先删除旧版本，再进行升级，期间旧版本不可使用。 图1 升级模式 升级配置后，需重新启动该部署任务，升级模式即为重启的方式。 修改部署配置 完成创建CV大模型部署任务后，可以修改已部署模型的描述信息并升级配置，但不可替换模型。具体步骤如下： 登录ModelArts Studio大
文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 单个文件大小不超过50GB，文件数量最多1000个。 网页 html 单个文件大小不超过50GB，文件数量最多1000个。 预训练文本 jsonl jsonl格式：text表示预训练所使用的文本数据，具体格式示例如下：
会先删除旧版本，再进行升级，期间旧版本不可使用。 图1 升级模式 升级配置后，需重新启动该部署任务，升级模式即为重启的方式。 修改部署配置 完成创建专业大模型部署任务后，可以修改已部署模型的描述信息并升级配置，但不可替换模型。具体步骤如下： 登录ModelArts Studio大
创建专业大模型部署任务 平台支持部署预置的专业大模型，操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“创建部署”。 在“创建部署”页面，参考表1完成部署参数设置。 表1 专业大模型部署参数说明
表1 NlP大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“NLP大模型”。 部署模型 选择需要进行部署的模型。 部署方式 选择“云上部署”。 最大TOKEN长度 模型可最大请求的上下文TOKEN数。 安全护栏 选择模式
会先删除旧版本，再进行升级，期间旧版本不可使用。 图1 升级模式 升级配置后，需重新启动该部署任务，升级模式即为重启的方式。 修改部署配置 完成创建NLP大模型部署任务后，可以修改已部署模型的描述信息并升级配置，但不可替换模型。具体步骤如下： 登录ModelArts Studio
查看专业大模型部署任务详情 部署任务创建成功后，可以查看大模型部署的任务详情，具体步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，完成创建专业大模型部署任务后，可以查看模型的部署状态。
查看NLP大模型部署任务详情 部署任务创建成功后，可以查看大模型部署任务详情，具体步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，完成创建NLP大模型部署任务后，可以查看模型的部署状态。
表1 预测大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“预测大模型”。 部署模型 选择需要进行部署的模型。 部署方式 选择“云上部署”。 安全护栏 选择模式 安全护栏保障模型调用安全。 选择类型 当前支持安全护栏基础版，内置了默认的内容审核规则。
会先删除旧版本，再进行升级，期间旧版本不可使用。 图1 升级模式 升级配置后，需重新启动该部署任务，升级模式即为重启的方式。 修改部署配置 完成创建预测大模型部署任务后，可以修改已部署模型的描述信息并升级配置，但不可替换模型。具体步骤如下： 登录ModelArts Studio大
对预置的模型资产执行以下操作： 查看模型历史版本。在“版本列表”页面，可查看模型的各个版本。 训练、压缩、部署操作。在“版本列表”页面，可对不同版本模型执行训练、压缩或部署操作。单击相应按钮，将跳转至相关操作页面。 查看操作记录。在“操作记录”页面，可查看当前模型的操作记录。 单
查看预测大模型部署任务详情 部署任务创建成功后，可以查看大模型部署的任务详情，具体步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，完成创建预测大模型部署任务后，可以查看模型的部署状态。
是否正确。可以在“创建导入任务”页面下载数据样例进行比对。 使用Python脚本转换自定义格式为jsonl格式 对于文本类数据集，除文档、网页数据类型，其余类型的数据支持将自定义格式转换为jsonl格式。 用户可以上传自定义的python脚本实现数据集由自定义格式到jsonl格式
数据转换 图文异常字符过滤 将文本数据中携带的异常字符替换为空值，数据条目不变。 不可见字符，例如U+0000-U+001F 表情符六 网页标签符号<p> 特殊符号，比如● █ ◆ 乱码和无意义的字符����� 父主题： 数据集清洗算子介绍
通用质量评估 针对文本进行通用质量的评估，例如流畅度、清晰度、丰富度等。 说明： 使用该清洗算子前，请确保有已部署的NLP大模型，具体步骤详见创建NLP大模型部署任务。 父主题： 数据集清洗算子介绍
在“我的凭证”页面，获取项目ID（project_id），以及账号名、账号ID、IAM用户名和IAM用户ID。 在调用盘古API时，获取的项目id需要与盘古服务部署区域一致，例如盘古大模型当前部署在“西南-贵阳一”区域，需要获取与贵阳一区域的对应的项目id。 图2 获取项目ID 多项目时，展开“所属区域”，从“项目ID”列获取子项目ID。
来源一：互联网开源数据集，如政府网站网页、政府在线问答公开数据、政务百科等。 来源二：特定的私域数据，针对于具体场景和项目需求，收集相关的文本数据。比如通过与当地政府的政数局进行合作，获取政府部门提供的内部脱敏数据等。相关的数据格式包括但不限于：在线网页、离线word文档、离线txt文
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
