检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API NLP大模型 科学计算大模型 Agent Token计算器
功能进行精细的权限管理。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户(子用户)进行权限管理,您可以跳过本章节,不影响您使用服务的其他功能。 通过IAM,您可以在华为云账号中给员工创建IAM用户(子用户),并授权控制他们对华为云资源的访问范围。例如,您的员工中有负
Token计算器 功能介绍 为了帮助用户更好地管理和优化Token消耗,平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量,提供费用预估,并优化数据预处理策略。 URI POST /v1/{project_id}/deployment
发布提示词 通过横向比较提示词效果和批量评估提示词效果,如果找到高质量的提示词,可以将这些提示词发布至“提示词模板”中。 在提示词“候选”页面,选择质量好的提示词,并单击“保存到模板库”。 图1 保存提示词至模板库 进入“Agent 开发 > 提示词工程 > 提示词模板”页面,查看发布的提示词。
ModelArts Studio大模型开发平台使用对象存储服务(Object Storage Service,简称OBS)进行数据存储,实现安全、高可靠和低成本的存储需求。因此,为了能够顺利进行存储数据、训练模型等操作,需要用户配置访问OBS服务的权限。 配置OBS访问授权步骤如下: 登录ModelArts
数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据流通和管理等功能。 该工具链能够高效收集和处理各种格式的数据,满足不同训练和评测任务的需求。通过提供自动化的质量检测和
水资源,提供了大量的饮用水和灌溉水。同时,长江也是中国重要的内河航道,对于货物运输和经济发展具有重要作用。长江中的鱼类种类繁多,是中国淡水渔业的重要基地之一。长江中的典型鱼类包括:1. **中华鲟**:这是一种生活在长江中上游的大型鱼类,以其巨大的体型和古老的种类而闻名。中华鲟是
盘古大模型为用户提供了服务试用,需提交试用申请。 试用申请步骤如下: 登录ModelArts Studio大模型开发平台。 单击“试用咨询”,进入华为云售前咨询页面。 图1 申请试用 填写姓名、联系电话等用户信息,单击“提交申请”进行表单预约。 父主题: 准备工作
视频类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签和评分等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台支持视频类数据集的清洗操作,分为数据提取、数据过滤、数据打标三类,视频类加工算子能力清单见表1。
管理科学计算大模型训练任务 在训练任务列表中,任务创建者可以对创建好的任务进行编辑、启动、克隆(复制训练任务)、重试(重新训练任务)和删除操作。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,进入模型训练页面,可进行如下操作:
管理NLP大模型评测任务 管理评测任务 在评测任务列表中,任务创建者可以对任务进行克隆(复制评测任务)、启动(重启评测任务)和删除操作。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型评测”,可进行如下操作:
提升数据治理的效率和效果。 通过整合上述功能,数据工程在AI研发中不仅帮助用户高效构建高质量的训练数据集,还通过全流程的数据处理和管理,探索数据与模型性能的内在联系,为模型训练和应用提供坚实的数据基础,推动了模型的精确训练与持续优化,提升了AI应用开发的效率和成果的可靠性。 父主题:
管理NLP大模型训练任务 在训练任务列表中,任务创建者可以对任务进行编辑、启动、克隆(复制训练任务)、重试(重新训练任务)和删除操作。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,可进行如下操作:
管理CV大模型训练任务 在训练任务列表中,任务创建者可以对任务进行编辑、启动、克隆(复制训练任务)、重试(重新训练任务)和删除操作。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,可进行如下操作:
管理预测大模型训练任务 在训练任务列表中,任务创建者可以对任务进行编辑、启动、克隆(复制训练任务)、重试(重新训练任务)和删除操作。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,可进行如下操作:
横向比较提示词效果 将设置为候选的提示词横向比对,获取提示词的差异性和效果。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务右侧“撰写”。
Studio大模型开发平台为用户提供了多种规格的NLP大模型,以满足不同场景和需求。不同模型在处理上下文token长度和功能上有所差异,以下是当前支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。 表1 盘古NLP大模型规格 模型支持区域 模型名称 可处理最大上下文长度
欠拟合等异常情况。 模型评估:使用平台的“模型评估”功能,“模型评估”将对您之前上传的测试集进行评估。通过查看测试集样本的PPL、BLEU和ROUGE等指标,进行横向(相同训练数据+不同规格的通用模型)或纵向(不同训练数据训练的多个模型版本)对比来判断训练过程是否出现了问题。 人
选择导入的数据 填写“数据集名称”和“描述”,可选择填写“拓展信息”。 拓展信息包括“数据集属性”与“数据集版权”: 数据集属性。可以给数据集添加行业、语言和自定义信息。 数据集版权。训练模型的数据集除用户自行构建外,也可能会使用开源的数据集。数据集版权功能主要用于记录和管理数据集的版权信息,
请求URI 服务的请求URI即API服务的终端地址,通过该地址与API进行通信和交互。 URI获取步骤如下: 登录ModelArts Studio大模型开发平台。 进入所需工作空间。 获取请求URI。 获取模型请求URI。 若调用部署后的模型,可在左侧导航栏中选择“模型开发 >