检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
会先删除旧版本,再进行升级,期间旧版本不可使用。 图1 升级模式 升级配置后,需重新启动该部署任务,升级模式即为重启的方式。 修改部署配置 完成创建专业大模型部署任务后,可以修改已部署模型的描述信息并升级配置,但不可替换模型。具体步骤如下: 登录ModelArts Studio大
创建专业大模型部署任务 平台支持部署预置的专业大模型,操作步骤如下: 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。 在“创建部署”页面,参考表1完成部署参数设置。 表1 专业大模型部署参数说明
部署指算法部署至平台提供的资源池中。边缘部署指算法部署至客户的边缘设备中(仅支持边缘部署的模型可配置边缘部署)。 部分模型资产支持边缘部署方式,若选择“边缘部署”: 资源池:选择部署模型所需的边缘资源池,创建边缘资源池步骤请详见创建边缘资源池。 CPU:部署需要使用的最小CPU值(物理核)。
会先删除旧版本,再进行升级,期间旧版本不可使用。 图1 升级模式 升级配置后,需重新启动该部署任务,升级模式即为重启的方式。 修改部署配置 完成创建NLP大模型部署任务后,可以修改已部署模型的描述信息并升级配置,但不可替换模型。具体步骤如下: 登录ModelArts Studio
模型进行部署。 部署模型 在“从资产选模型”选择所需模型。 部署方式 支持“云上部署”和“边缘部署”,其中,云上部署指算法部署至平台提供的资源池中。边缘部署指算法部署至客户的边缘设备中(仅支持边缘部署的模型可配置边缘部署)。 部分模型资产支持边缘部署方式,若选择“边缘部署”: 本
查看专业大模型部署任务详情 部署任务创建成功后,可以查看大模型部署的任务详情,具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”,完成创建专业大模型部署任务后,可以查看模型的部署状态。
先删除旧版本,再进行升级,期间旧版本不可使用。 图1 升级模式 升级配置后,需重新启动该部署任务,升级模式即为重启的方式。 修改部署配置 完成创建科学计算大模型部署任务后,可以修改已部署模型的描述信息并升级配置,但不可替换模型。具体步骤如下: 登录ModelArts Studio
查看NLP大模型部署任务详情 部署任务创建成功后,可以查看大模型部署任务详情,具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”,完成创建NLP大模型部署任务后,可以查看模型的部署状态。
型的部署状态。 当状态显示为“运行中”时,表示模型已成功部署。此过程可能需要较长时间,请耐心等待。 可单击模型名称可进入详情页,查看模型的部署详情、部署事件、部署日志等信息。 图1 部署详情 父主题: 部署科学计算大模型
文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 单个文件大小不超过50GB,文件数量最多1000个。 网页 html 单个文件大小不超过50GB,文件数量最多1000个。 预训练文本 jsonl jsonl格式:text表示预训练所使用的文本数据,具体格式示例如下:
对预置的模型资产执行以下操作: 查看模型历史版本。在“版本列表”页面,可查看模型的各个版本。 训练、压缩、部署操作。在“版本列表”页面,可对不同版本模型执行训练、压缩或部署操作。单击相应按钮,将跳转至相关操作页面。 查看操作记录。在“操作记录”页面,可查看当前模型的操作记录。 单
填写输入参数时,deployment_id为模型部署ID,获取方式如下: 若调用部署后的模型,可在左侧导航栏中选择“模型开发 > 模型部署”,在“我的服务”页签,模型部署列表单击模型名称,在“详情”页签中,可获取模型的部署ID。 图3 部署后的模型调用路径 若调用预置模型,可在左侧导航栏中选择“模型开发
配置服务访问授权 配置OBS访问授权 ModelArts Studio大模型开发平台使用对象存储服务(Object Storage Service,简称OBS)进行数据存储,实现安全、高可靠和低成本的存储需求。因此,为了能够顺利进行存储数据、训练模型等操作,需要用户配置访问OBS服务的权限。
allation_001.html 步骤4:创建证书 如图7,如果在“边缘资源池”页签提示无可用的证书,可以参考以下方法创建证书。 图7 无可用证书 准备一台Linux系统的服务器(已安装OpenSSL),依次执行以下命令制作证书。 执行命令时会提示输入至少四位的密码,例如:123456,需记住密码后续步骤会使用。
数据转换 图文异常字符过滤 将文本数据中携带的异常字符替换为空值,数据条目不变。 不可见字符,例如U+0000-U+001F 表情符六 网页标签符号<p> 特殊符号,比如● █ ◆ 乱码和无意义的字符����� 父主题: 数据集加工算子介绍
针对文本进行语法质量的评估,例如相关性、规范性等。 使用数据打标的通用质量评估、问题时效性评估、回答质量评分、语法质量评估算子前,请确保有已部署的NLP大模型,具体步骤详见创建NLP大模型部署任务。 父主题: 数据集加工算子介绍
据集格式要求。 表1 平台支持的数据类型 数据类型 数据内容 支持的文件格式 文本类 文档 txt、mobi、epub、docx、pdf 网页 html 预训练文本 jsonl 单轮问答 jsonl、csv 单轮问答(人设) jsonl、csv 多轮问答 jsonl 多轮问答(人设)
单击“下一步”,进入“指令编排”页面。 在左侧“添加指令”中添加预置指令。 指令选择完成后,配置指令参数。 下图展示了预训练文本类数据集的合成指令参数配置示例,该合成任务实现利用预训练文本生成问答对。 图1 预训练文本类数据集合成指令参数配置示例 8. 指令编排完成后,单击右上角“启用调测”,可以对当前编排的指令效果进行预览。
在“我的凭证”页面,获取项目ID(project_id),以及账号名、账号ID、IAM用户名和IAM用户ID。 在调用盘古API时,获取的项目id需要与盘古服务部署区域一致,例如盘古大模型当前部署在“西南-贵阳一”区域,需要获取与贵阳一区域的对应的项目id。 图2 获取项目ID 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。
来源一:互联网开源数据集,如政府网站网页、政府在线问答公开数据、政务百科等。 来源二:特定的私域数据,针对于具体场景和项目需求,收集相关的文本数据。比如通过与当地政府的政数局进行合作,获取政府部门提供的内部脱敏数据等。相关的数据格式包括但不限于:在线网页、离线word文档、离线txt文