检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您可以使用统一身份认证服务(IAM)并结合ModelArts Studio大模型开发平台提供的“成员管理”功能实现子用户精细的权限管理。 创建用户组 使用主账号登录IAM服务控制台。 左侧导航窗格中,选择“用户组”页签,单击右上方的“创建用户组”。 图1 创建用户组 在“创建用户组”界面,输入“用户组名称”,单击“确定”,创建用户组。
计和实施一系列的实验,来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程,用于对提示词进行统一管理。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”,单击界面右上角“创建工程”。
标准的基础上创建评估标准。 若您希望使用平台预置的评估标准,可跳过此章节至创建图片类数据集评估任务。 创建图片类数据集评估标准步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评
局点进行使用。 以从环境A迁移模型到环境B为例: 登录环境B的ModelArts Studio大模型开发平台,在“空间资产 > 模型”页面,单击右上角的“导入模型”。 在“导入模型”页面,下载用户证书。 图2 下载用户证书 登录环境A的ModelArts Studio大模型开发平台,在“空间资产
获取项目ID 从控制台获取项目ID 登录管理控制台。 在页面右上角的用户名的下拉列表中选择“我的凭证”。 图1 我的凭证 在“我的凭证”页面,获取项目ID(project_id),以及账号名、账号ID、IAM用户名和IAM用户ID。 在调用盘古API时,获取的项目id需要与盘古服
盘古格式:训练盘古大模型时,需要将数据集格式发布为“盘古格式”。 自定义格式:文本类数据集可以使用自定义脚本进行数据格式转换。 发布文本类数据集操作步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据发布”,单击界面右上角“创建发布数据集”。
盘古格式:训练盘古大模型时,需要将数据集格式发布为“盘古格式”。 自定义格式:文本类数据集可以使用自定义脚本进行数据格式转换。 发布图片类数据集操作步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据发布”,单击界面右上角“创建发布数据集”。
台配备数据工程、模型开发、应用开发三大工具链,帮助开发者充分利用盘古大模型的功能。通过该平台,企业可根据需求选择合适的盘古NLP大模型、科学计算大模型等服务,便捷地构建自己的模型和应用 数据工程工具链:数据是大模型训练的核心基础。数据工程工具链作为平台的重要组成部分,具备数据获取
获取模型部署ID 模型部署ID获取步骤如下: 登录ModelArts Studio大模型开发平台。 获取模型请求URI。 若调用部署后的模型,可在左侧导航栏中选择“模型开发 > 模型部署”,在“我的服务”页签,模型部署列表单击模型名称,在“详情”页签中,可获取模型的部署ID。 图1
请求URI 服务的请求URI即API服务的终端地址,通过该地址与API进行通信和交互。 URI获取步骤如下: 登录ModelArts Studio大模型开发平台。 进入所需工作空间。 获取请求URI。 获取模型请求URI。 若调用部署后的模型,可在左侧导航栏中选择“模型开发 >
> 创建NLP大模型部署任务”。 使用“能力调测”功能 调用API接口 “能力调测”功能支持用户直接调用已部署的预置服务,使用步骤如下: 登录ModelArts Studio大模型开发平台,进入所需空间。 单击左侧“能力调测”,进入“文本对话”页签,选择服务与系统人设,参数设置为
print(response.headers["X-Subject-Token"]) 获取Token步骤: 本示例中,通过使用Postman软件获取Token。 登录“我的凭证 > API凭证”页面,获取user name、domain name、project id。 由于盘古大模型当前部署在“西南-
况,从而简化数据资产的维护更新流程。通过这样的统一管理,用户能够更高效地组织和利用数据资源,确保数据资产的安全性和一致性。 管理数据资产 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏“空间资产 > 数据”中可以查看当前空间内的数据资产,如果有多
数据单条文本长度不超过1000。 创建数据集时会对相关限制条件进行校验。 数据参考格式如下: 图1 数据参考格式 图2 数据示例 创建提示词评估数据集 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示用例管理”,单击页面右上角“创建提示用例集”。
创建好工作流后,可以调用该API,传入问题,执行工作流,得到工作流执行的结果。 工作流 Token计算器 为了帮助用户更好地管理和优化Token消耗,平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量,提供费用预估,并优化数据预处理策略。 Token计算器 用户在部署服务
在空间成员以及编辑所在空间成员角色的权限。 模型开发工程师 可以执行模型开发工具链模块的所有操作,但是不能创建或者删除计算资源,也不能修改所在空间本身。 应用开发工程师 应用开发工程师具备执行应用开发工具链模块所有操作的权限,其余角色不具备。 标注管理员 拥有数据工程数据标注-标注管理模块的所有权限,其余角色不具备。
型的生成行为,如调整温度、核采样、最大Token限制等参数。模型参数的设置会影响模型的生成质量和多样性,因此需要根据不同的场景进行选择。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”。
300m, 400m, 500m T:海温(℃) S:海盐(PSU) U:海流经向速率 (ms-1) V:海流纬向速率 (ms-1) SSH:海表高度(m) 24h 1/12° 特定区域 该模型类型主要用于区域海洋基础要素预测,支持训练的模型清单见表4,您可根据具体使用场景选择
减少手动操作,提高数据处理的效率。 满足业务需求:不同类型的数据需要不同的处理方式,平台根据文本、图片、视频、气象等数据类型提供专门的加工工具,满足各种复杂的业务需求。 增强模型性能:通过合适的数据加工,可以提高数据的可用性,进而提升模型的训练效果,使其具备更高的精度和鲁棒性。
需包含annotations,train,val文件夹,annotations文件夹下用train.json和val.json记录训练集和验证集标注,train和val文件夹下保存具体的图片。具体示例如下: ├─annotations │ train.json │