检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
构建微调训练任务 登录ModelArts Studio平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,单击界面右上角“创建训练任务”。 在“创建训练任务”页面进行配置。 训练配置:按照图1所示进行配置。 本案例选择的基础模型为“Pangu-AI4S-Ocean_Regional_24h-3
发布气象类数据集 气象类数据集当前仅支持发布为“标准格式”,操作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 发布任务”,单击界面右上角“创建发布任务”。 在“创建发布任务”页面,选择数据集模态,如“气象
发布预测类数据集 预测类数据集当前仅支持发布为“标准格式”,操作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 发布任务”,单击界面右上角“创建发布任务”。 在“创建发布任务”页面,选择数据集模态,如“预测
发布其他类数据集 其他类数据集当前仅支持发布为“标准格式”,操作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 发布任务”,单击界面右上角“创建发布任务”。 在“创建发布任务”页面,选择数据集模态,如“其他
统一管理,用于后续加工或发布操作。 创建导入任务 创建导入任务前,请先按照数据集格式要求提前准备数据。 平台支持使用OBS服务导入数据,请详见通过控制台快速使用OBS。 创建导入任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”,单击空间名称进入操作空间。
单击画布中的开始节点以打开节点配置页面。 开始节点的参数默认已配置,不支持修改开始节点的参数。 图1 开始节点配置图 大模型节点配置说明 大模型节点提供了使用大模型的能力,可在节点中配置已部署的模型,用户可以通过编写Prompt、设置参数让模型处理相应任务。 大模型节点为可选节点,若无需配置,可跳过该步骤。
使用API调用科学计算大模型 预置模型或训练后的模型部署成功后,可以使用API调用科学计算大模型。 获取调用路径 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 获取调用路径。 在左侧导航栏中选择“模型开发 > 模型部署”。 获取已部署模型的调用路径。在“我的服
评估标准,涵盖了数据准确性、完整性、一致性、格式规范等多个维度,用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准,可跳过此章节至创建文本类数据集评估任务。 创建文本类数据集评估标准步骤如下: 登录ModelArts Studio大模型开发平台
数据发布不仅仅是将数据转换为不同格式,还包括根据任务需求评估数据集效果,确保数据在规模、质量和内容上满足训练标准。具体而言,数据发布具备以下几个重要意义: 多格式支持 对于文本类、图片类数据集,平台支持多种数据发布格式,包括“标准格式”、“盘古格式”,以满足不同训练任务的需求。通过这些格式的转换,用户
图7 意图配置 在“高级配置”中配置提示词。单击“确定”,完成参数配置。 图8 高级配置 配置“提示器”节点。 鼠标拖动左侧“提问器”节点至编排页面,并连接“意图识别”的“文本翻译”意图节点与该节点,单击该节点进行配置。 在“参数配置”中,配置输入参数,如图9。 图9 配置输入参数
基础,便于用户实现统一查看和操作管理。 数据资产:用户已发布的数据集将作为数据资产存放在空间资产中。用户可以查看数据集的详细信息,包括数据格式、大小、配比比例等。同时,平台支持数据集的删除等管理操作,使用户能够统一管理数据集资源,以便在模型训练和分析时灵活调用,确保数据资产的规范性与安全性。
上传文件限xlsx格式。 数据行数不小于10行,不大于50行。 数据不允许相同表头,表头数量小于20个。 数据单条文本长度不超过1000。 创建数据集时会对相关限制条件进行校验。 数据参考格式如下: 图1 数据参考格式 图2 数据示例 创建提示词评估数据集 登录ModelArts
据文件。 NLP大模型评测数据集支持的格式见表1。 表1 评测数据集格式 模型类型 评测数据集格式 NLP大模型 文本-单轮问答-jsonl格式 上传数据文件后,填写“数据集名称”与“描述”,单击“立即创建”。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”,单击界面右上角“创建流通任务”。
、请求体、响应体等信息。 请求体支持openai、tgi、自定义三种格式。openai格式即是由OpenAI公司开发并标准化的一种大模型请求格式;tgi格式即是Hugging Face团队推出的一种大模型请求格式。 接口的响应体需要按照jsonpath语法要求进行填写,jsonp
请求URI 参数 说明 URI-scheme 传输请求的协议,当前所有API均采用HTTPS协议。 Endpoint 承载REST服务端点的服务器域名或IP。 resource-path 资源路径,即API访问路径。从具体API的URI模块获取。 query-string 查询参数,可选
微调数据要求: 数据格式样例:JSONL格式,每行是一条JSON,包含“context”和“target”两个字段。示例如下: {"context": "今天是2023-11-20,你是一个银行智能助理,现在需要根据用户问题、指标-解释表、参数-类型-解释表,生成符合要求格式的json。
行升级,期间旧版本不可使用。 图1 升级模式 升级配置后,需重新启动该部署任务,升级模式即为重启的方式。 修改部署配置 完成创建NLP大模型部署任务后,可以修改已部署模型的描述信息并升级配置,但不可替换模型。具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
进行升级,期间旧版本不可使用。 图1 升级模式 升级配置后,需重新启动该部署任务,升级模式即为重启的方式。 修改部署配置 完成创建专业大模型部署任务后,可以修改已部署模型的描述信息并升级配置,但不可替换模型。具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
步”。 在“配置信息”页面,参照表1完成信息配置。 表1 插件信息配置说明 参数名称 参数说明 插件URL 插件服务的请求URL地址。 URL协议只支持HTTP和HTTPS。 系统会校验URL地址是否为标准的URL格式。 URL对应的IP默认不应为内网,否则会导致注册失败。仅在非
行升级,期间旧版本不可使用。 图1 升级模式 升级配置后,需重新启动该部署任务,升级模式即为重启的方式。 修改部署配置 完成创建科学计算大模型部署任务后,可以修改已部署模型的描述信息并升级配置,但不可替换模型。具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。