华为云用户手册

  • 盘古用户角色 盘古大模型的用户可被赋予不同的角色,对平台资源进行精细化的控制。 表2 盘古用户角色 角色 说明 系统管理员 购买平台的用户默认为系统管理员,具有所有操作的权限。 运营人员 具备资产订购(模型订购、资源订购、资源扩容、资源退订)的权限。 模型开发人员 具备推理服务接口调用、能力调测、模型开发套件(模型训练管理、模型部署管理)、数据工程(数据集管理)、应用开发(SDK)功能的使用权限。 推理服务API调用人员 具备推理服务接口调用、能力调测、应用开发(SDK)功能的使用权限。 Prompt工程人员 具备推理服务接口调用、能力调测、应用开发(Prompt)、应用开发(SDK)功能的使用权限。
  • IAM 权限 默认情况下,管理员创建的IAM用户(子用户)没有任何权限,需要将其加入用户组,并对用户组授权,才能使得用户组中的用户获得对应的权限。授权后,用户就可以基于被授予的权限对云服务进行操作。 服务使用OBS存储训练数据和评估数据,如果需要对OBS的访问权限进行细粒度的控制。可以在盘古服务的委托中增加Pangu OBSWriteOnly、Pangu OBSReadOnly策略,控制OBS的读写权限。 表1 策略信息 策略名称 拥有细粒度权限/Action 权限描述 Pangu OBSWriteOnly obs:object:AbortMultipartUpload obs:object:DeleteObject obs:object:DeleteObjectVersion obs:object:PutObject 拥有用户OBS桶写权限。 Pangu OBSReadOnly obs:bucket:GetBucketLocation obs:bucket:HeadBucket obs:bucket:ListAllMyBuckets obs:bucket:ListBucket obs:object:GetObject obs:object:GetObjectAcl obs:object:GetObjectVersion obs:object:GetObjectVersionAcl obs:object:ListMultipartUploadParts 拥有用户OBS桶只读权限。
  • 创意营销 在创意营销领域,企业常常需要投入大量的时间和资源来撰写吸引人的营销文案。然而,传统的人工撰写方式不仅效率低下,还受到写手个人素质的影响。盘古大模型的应用为这一问题提供了创新的解决方案。 盘古大模型通过学习用户所需的文案风格和内容,能够轻松完成广告文案、社交媒体帖子、新闻稿等多种写作任务。它不仅能提供创意丰富、语言生动的文案,还能根据不同产品特性和目标受众进行定制,帮助产品吸引更多的潜在客户。 此外,盘古大模型还能根据市场趋势和用户反馈不断优化文案的创作策略和内容。它能够分析用户的阅读习惯和偏好,调整文案结构和语言风格,以更好地吸引用户注意。这种智能化、个性化的营销文案创作,不仅提升了营销效果,也释放了企业的创作活力和创新潜力。
  • 代码助手 在软件开发领域,编程语言的多样性和复杂性给程序员带来了巨大的挑战。盘古NLP大模型为程序员提供了强大的代码助手,显著提升了研发效率。 盘古大模型能够根据用户给定的题目,快速生成高质量的代码,支持Java、Python、Go等多种编程语言。它不仅能够提供完整的代码实现,还能够根据用户的需求,进行代码补全和不同编程语言之间的改写转化。 借助盘古大模型,程序员可以更加专注于创新和设计,而无需过多关注繁琐的编码工作。它不仅提升了代码的质量和稳定性,还缩短了开发周期,加速了产品的迭代和发布。
  • 智能客服 在政企场景中,传统的智能客服系统常受限于语义泛化能力和意图理解能力,导致用户需求难以准确捕捉,频繁转接至人工客服。这不仅增加了企业的运营成本,也影响了用户体验。盘古大模型的引入为这一问题提供了有效解决方案。 盘古大模型通过将客户知识数据转换为向量并存储在向量数据库中,利用先进的 自然语言处理 技术对用户输入的文本进行深度分析和理解。它能够精准识别用户的意图和需求,即使是复杂或模糊的查询,也能提供准确的响应。这种对话问答方式提高了知识获取效率,使智能客服系统更加人性化和有温度。 此外,盘古大模型还能够根据用户的行为和反馈不断学习和优化,进一步提升服务能力。它能识别用户的情绪和语气,调整回答的语调和内容,更贴近用户的实际需求。这种智能化、个性化的服务体验不仅减少了转人工的频率,还提升了用户满意度。
  • 数据保护技术 盘古大模型服务通过多种数据保护手段和特性,保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密(HTTPS) 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS数据保护技术说明:https://support.huaweicloud.com/productdesc-obs/obs_03_0375.html 父主题: 安全
  • 模型的基础信息 盘古大模型平台为用户提供了多种规格的模型,涵盖从基模型到功能模型的多种选择,以满足不同场景和需求。不同模型在处理上下文token长度和功能上有所差异,以下是当前支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。 表1 NLP大模型清单 模型类别 模型 token 简介 NLP大模型 盘古-NLP-N1-基础功能模型-32K 部署可选4096、32768 基于NLP-N1-基模型训练的基础功能模型,具备文案生成、多轮对话、实体抽取、翻译、知识问答等大模型通用能力,具有32K上下文能力。 盘古-NLP-N1-基础功能模型-8K 8192 可外推:16384 基于NLP-N1-基模型训练的基础功能模型,具备文案生成、多轮对话、实体抽取、翻译、知识问答等大模型通用能力,具有8K上下文能力,可外推至16K。 盘古-NLP-N2-基模型 - 预训练模型,擅长通用任务,擅长文本理解,可以高效进行文案生成与文本解析,高性能、时延低。 盘古-NLP-N2-基础功能模型-4K 4098 基于NLP-N2-基模型训练的基础功能模型,具备文案生成、多轮对话、实体抽取、翻译、知识问答等大模型通用能力。 盘古-NLP-N2-基础功能模型-32K 32768 基于NLP-N2-基模型训练的基础功能模型,具备文案生成、多轮对话、实体抽取、翻译、知识问答等大模型通用能力。 盘古-NLP-N2-应用增强模型-4K 4096 基于NLP-N2-基模型训练的应用增强模型,支持插件调用,支持多种开发套件,可部署集成至业务系统。 盘古-NLP-N4-基模型 - 预训练模型,擅长逻辑推理,支持工具调用、自然 语言生成 SQL,可执行复杂任务,质量更高。 盘古-NLP-N4-基础功能模型-4K 4096 基于NLP-N4-基模型训练的基础功能模型,具备文案生成、多轮对话、实体抽取、翻译、知识问答等大模型通用能力,具有4K上下文能力。 盘古-NLP-BI专业大模型-4K 4096 基于NLP-N2-基础功能模型运用特定专业代码数据训练后的BI专业大模型,具有4K上下文能力。 盘古-NLP-BI专业大模型-32K 32768 基于NLP-N2-基础功能模型运用特定专业代码数据训练后的BI专业大模型,具有32K上下文能力。 盘古-NLP-N2单场景模型-4K 4096 基于NLP-N2-基模型训练的单场景模型,可支持选择一个场景进行推理,如:搜索RAG方案等,具有4K上下文能力。 盘古-NLP-N2单场景模型-32K 32768 基于NLP-N2-基模型训练的单场景模型,可支持选择一个场景进行推理,如:搜索RAG方案等,具有32K上下文能力。 基于盘古大模型打造的专业大模型包括BI专业大模型与单场景大模型,支持模型推理,但不支持模型训练。 父主题: 模型能力与规格
  • 迁移能力强 盘古大模型的迁移能力是其适应多变业务需求的关键。除了在已有领域中表现出色,它还能通过少量的新数据快速迁移到新的领域或场景。这种迁移能力使模型能够在面对新挑战时迅速调整和优化,提供适应新领域的服务。 通过微调技术,盘古大模型能够在保持原有优势的同时,融入新领域的特征和规律,实现对新任务的快速适应。这种能力极大地扩展了模型的应用范围,使其在更广泛的业务场景中发挥作用,为用户提供更加全面和深入的智能服务。
  • 模型效果优秀 经过海量数据训练,盘古大模型在各种自然语言处理任务中展现出卓越的性能。无论是文本分类、情感分析、 机器翻译 ,还是问答系统,模型都能以高准确率完成任务,为用户提供高质量的输出结果。 这种卓越的表现源于其先进的算法和深度学习架构。盘古大模型能够深入理解语言的内在逻辑与语义关系,因此在处理复杂语言任务时展现出更高的精准度和效率。这不仅提高了任务的成功率,也大幅提升了用户体验,使盘古大模型成为企业和开发者构建智能应用的首选。
  • 海量训练数据 盘古大模型依托海量且多样化的训练数据,涵盖从日常对话到专业领域的广泛内容,帮助模型更好地理解和生成自然语言文本,适用于多个领域的业务应用。这些数据不仅丰富多样,还为模型提供了深度和广度的语言学习基础,使其能够生成更加自然、准确且符合语境的文本。 通过对海量数据的深入学习和分析,盘古大模型能够捕捉语言中的细微差别和复杂模式,无论是在词汇使用、语法结构,还是语义理解上,都能达到令人满意的精度。此外,模型具备自我学习和不断进化的能力,随着新数据的持续输入,其性能和适应性不断提升,确保在多变的语言环境中始终保持领先地位。
  • 身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务,有以下两种调用方式: Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。经过认证的请求总是需要包含一个签名值,该签名值以请求者的访问密钥(AK/SK)作为加密因子,结合请求体携带的特定信息计算而成。通过访问密钥(AK/SK)认证方式进行认证鉴权,即使用Access Key ID(AK)/Secret Access Key(SK)加密的方法来验证某个请求发送者身份。 父主题: 安全
  • 什么是盘古大模型 盘古大模型致力于深耕行业,打造多领域的行业大模型和能力集。其核心能力依托于盘古大模型套件平台,该平台是华为云推出的集数据管理、模型训练和模型部署为一体的一站式大模型开发与应用平台。平台提供了包括盘古大模型在内的多种大模型服务,支持大模型的定制开发,并提供覆盖全生命周期的大模型工具链。 盘古大模型为开发者提供了一种简单高效的方式来开发和部署大模型。通过数据工程、模型开发和应用开发等功能套件,帮助开发者充分发挥盘古大模型的强大功能。企业可根据自身需求选择合适的大模型相关服务和产品,轻松构建自己的模型。 数据工程套件 数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程套件作为盘古大模型服务的重要组成部分,具备数据获取、清洗、配比和管理等功能。该套件能够高效收集和处理各种格式的数据,满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力,对原始数据进行优化,确保其质量和一致性。同时,数据工程套件还提供强大的数据存储和管理能力,为大模型训练提供高质量的数据支撑。 模型开发套件 模型开发套件是盘古大模型服务的核心组件,提供从模型创建到部署的一站式解决方案。该套件具备模型管理、训练、评估、压缩、部署、推理和迁移等功能,支持模型的自动化评估,确保模型的高性能和可靠性。通过高效的推理性能和跨平台迁移工具,模型开发套件能够保障模型在不同环境中的高效应用。 应用开发套件 应用开发套件是盘古大模型平台的关键模块,支持提示词工程和AI助手创建。该套件提供提示词设计和管理工具,优化大模型的输入提示,提升输出的准确性和相关性。通过丰富的开发SDK,应用开发套件加速大模型应用的开发,满足复杂业务需求。
  • 模型支持的操作 在选择和使用盘古大模型时,了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评估、模型压缩和在线推理等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是各个模型支持的具体操作: 表1 模型支持的操作 模型 预训练 微调 模型评估 模型压缩 在线推理 盘古-NLP-N1-基础功能模型-8K - √ √ - √ 盘古-NLP-N1-基础功能模型-32K - √ - - √ 盘古-NLP-N2-基模型 - - - - - 盘古-NLP-N2-基础功能模型-4K - √ √ √ √ 盘古-NLP-N2-基础功能模型-32K - √ √ - √ 盘古-NLP-N2-应用增强模型-4K - √ √ - √ 盘古-NLP-N4-基模型 √ - - - - 盘古-NLP-N4-基础功能模型-4K - √ - √ √ 盘古-NLP-BI专业大模型-4K - - - - √ 盘古-NLP-BI专业大模型-32K - - - - √ 盘古-NLP-N2单场景模型-4K - - - - √ 盘古-NLP-N2单场景模型-32K - - - - √ 当前支持评估操作的模型需要经过SFT(有监督微调)后方可进行模型评估。 父主题: 模型能力与规格
  • 欠费 在使用云服务时,如果账户的可用额度低于待结算账单金额,即被判定为账户欠费。欠费可能会影响云服务资源的正常运行,因此需要及时充值。 模型订阅服务和推理服务为预付费,购买后不涉及欠费。 训练服务按实际消耗的Tokens数量计费,当余额不足以支付当前费用时,账户将被判定为欠费。由于盘古NLP大模型不涉及物理实体资源,因此无宽限期。欠费后继续调用服务会导致账户冻结,并直接进入保留期,保留期按需资源不可调用。续费后可恢复正常使用,但续费的生效时间以原到期时间为准,需支付从进入保留期开始至续费时的费用。 账户欠费后,部分操作将受限,建议您尽快续费。具体受限操作如下: 按需方式的API接口不可调用。 无法开通服务。
  • 计费项 关于盘古大模型的详细费用信息,敬请咨询华为云售前咨询,我们将为您提供专业的解答和支持。 盘古NLP大模型分为模型订阅服务、训练服务和推理服务三个收费项。 模型订阅服务和推理服务按调用时长计费,时长精确到秒。 训练服务按实际消耗的Tokens数量计费,话单周期内的Tokens计算精确到1K Tokens,不足1K Tokens的部分舍去。 专业大模型按需推理计费仅支持OP账号使用,推理服务按实际调用的Tokens数量计费,不足1K Tokens则小数点保留至后四位计算。
  • (可选)选择训练模式 当训练作业的算法框架选用的是预置框架的MindSpore类引擎、资源池类型选用的是Ascend资源时,则支持选择训练模式。ModelArts提供了3种训练模式供用户选择,支持根据实际场景获取不同的诊断信息,详细使用请参见训练模式选择。 普通模式:默认训练场景。 高性能模式:最小化调测信息,可以提升运行速度,适合于网络稳定并追求高性能的场景。 故障诊断模式:收集更多的信息用于定位,适合于执行出现问题需要收集故障信息进行定位的场景。此模式提供故障诊断,用户可以根据实际需求选择诊断类别。
  • 配置训练参数 训练过程中可以从OBS桶或者数据集中获取输入数据进行模型训练,训练输出的结果也支持存储至OBS桶中。创建训练作业时可以参考表4配置输入、输出、超参、环境变量等参数。 创建训练作业时选择的创建方式不同,训练作业的输入、输出和超参显示不同。如果参数值置灰,即表示该参数已经在算法代码中配置了且不支持修改。 表4 配置训练参数 参数名称 子参数 说明 输入 参数名称 算法代码需要通过“输入”的“参数名称”去读取训练的输入数据。 建议设置为“data_url”。训练输入参数要与所选算法的“输入”参数匹配,请参见创建算法时的表2。 数据集 单击“数据集”,在ModelArts数据集列表中勾选目标数据集并选择对应的版本。 训练启动时,系统将自动下载输入路径中的数据到训练运行容器。 说明: ModelArts数据管理模块在重构升级中,对未使用过数据管理的用户不可见。建议新用户将训练数据存放至OBS桶中使用。 数据存储位置 单击“数据存储位置”,从OBS桶中选择训练输入数据的存储位置。 训练启动时,系统将自动下载输入路径中的数据到训练运行容器。 获取方式 以参数名称为“data_path”的训练输入为例,说明获取方式的作用。 当参数的“获取方式”为“超参”时,可以参考如下代码来读取数据。 import argparse parser = argparse.ArgumentParser() parser.add_argument('--data_path') args, unknown = parser.parse_known_args() data_path = args.data_path 当参数的“获取方式”为“环境变量”时,可以参考如下代码来读取数据。 import os data_path = os.getenv("data_path", "") 输出 参数名称 算法代码需要通过“输出”的“参数名称”去读取训练的输出目录。 建议设置为“train_url”。训练输出参数要与所选算法的“输出”参数匹配,请参见创建算法时的表3。 数据存储位置 单击“数据存储位置”,从OBS桶中选择训练输出数据的存储位置。训练过程中,系统将自动从训练容器的本地代码目录下同步文件到数据存储位置。 说明: 数据存储位置仅支持OBS路径。为避免数据存储冲突,建议选择一个空目录用作“数据存储位置”。 获取方式 以参数名称为“train_url”的训练输出为例,说明获取方式的作用。 当参数的“获取方式”为“超参”时,可以参考如下代码来读取数据。 import argparse parser = argparse.ArgumentParser() parser.add_argument('--train_url') args, unknown = parser.parse_known_args() train_url = args.train_url 当参数的“获取方式”为“环境变量”时,可以参考如下代码来读取数据。 import os train_url = os.getenv("train_url", "") 预下载至本地目录 选择是否将输出目录下的文件预下载至本地目录。 不下载:表示启动训练作业时不会将输出数据的存储位置中的文件下载到训练容器的本地代码目录中。 下载:表示系统会在启动训练作业时自动将输出数据的存储位置中的所有文件下载到训练容器的本地代码目录中。下载时间会随着文件变大而变长,为了防止训练时间过长,请及时清理训练容器的本地代码目录中的无用文件。如果要使用断点续训练和增量训练,则必须选择“下载”。 超参 - 超参用于训练调优。此参数由选择的算法决定,如果在算法中已经定义了超参,则此处会显示算法中所有的超参。 超参支持修改和删除,状态取决于算法中的超参“约束”设置,详情请参见定义超参。 说明: 为保证数据安全,请勿输入敏感信息,例如明文密码。 环境变量 - 根据业务需求增加环境变量。训练容器中预置的环境变量请参见查看训练容器环境变量。 说明: 为保证数据安全,请勿输入敏感信息,例如明文密码。 自动重启 - 打开开关后,可以设置重启次数和是否启用无条件自动重启。 打开自动重启开关后,当由于环境问题导致训练作业异常时,系统将自动修复异常或隔离节点,并重启训练作业,提高训练成功率。为了避免丢失训练进度、浪费算力,开启此功能前请确认代码已适配断点续训,操作指导请参见断点续训练和增量训练。 重启次数的取值范围是1~128,缺省值为3。创建训练后不支持修改重启次数,请合理设置次数。 勾选无条件自动重启后,只要系统检测到训练异常,就无条件重启训练作业。为了避免无效重启浪费算力资源,系统最多只支持连续无条件重启3次。 当训练过程中触发了自动重启,则系统会记录重启信息,在训练作业详情页可以查看故障恢复详情,具体请参见查看故障恢复详情。
  • 后续操作 当创建训练作业的参数配置完成后,单击“提交”,在信息确认页面单击“确定”,提交创建训练作业任务。 训练作业一般需要运行一段时间,前往训练作业列表,可以查看训练作业的基本情况。 在训练作业列表中,刚创建的训练作业状态为“等待中”。 当训练作业的状态变为“已完成”时,表示训练作业运行结束,其生成的模型将存储至对应的“输出”目录中。 当训练作业的状态变为“运行失败”或“异常”时,可以单击训练作业的名称进入详情页面,通过查看日志等手段处理问题。 训练作业运行过程中将按照选择的资源进行计费。
  • 选择创建方式(使用预置镜像) 如果选择使用预置镜像创建训练作业,则参考表2选择训练作业的创建方式。 表2 创建训练作业的创建方式(使用预置镜像) 参数名称 说明 创建方式 必选,选择“自定义算法”。 启动方式 必选,选择“预置框架”,并选择训练作业要使用的预置框架引擎和引擎版本。 如果引擎版本选择“自定义”,则需要配置“镜像”参数,选择 自定义镜像 用于训练作业。 镜像 仅当预置框架的引擎版本选择“自定义”时才显示该参数,且是必填参数。 容器镜像地址的填写支持如下方式。 选择自有镜像或他人共享的镜像:单击右边的“选择”,从容器镜像中选择用于训练的容器镜像。所需镜像需要提前上传到SWR服务中。 选择公开镜像:直接输入SWR服务中公开镜像的地址。地址直接填写“组织名称/镜像名称:版本名称”,不需要带 域名 信息,系统会自动拼接域名地址。 代码目录 必填,选择训练代码文件所在的OBS目录。 需要提前将代码上传至OBS桶中,目录内文件总大小要小于或等于5GB,文件数要小于或等于1000个,文件深度要小于或等于32。 训练代码文件会在训练作业启动的时候被系统自动下载到训练容器的“${MA_JOB_DIR}/demo-code”目录中,“demo-code”为存放代码目录的最后一级OBS目录。例如,“代码目录”选择的是“/test/code”,则训练代码文件会被下载到训练容器的“${MA_JOB_DIR}/code”目录中。 启动文件 必填,选择代码目录中训练作业的Python启动脚本。 ModelArts只支持使用Python语言编写的启动文件,因此启动文件必须以“.py”结尾。 本地代码目录 指定训练容器的本地目录,启动训练时系统会将代码目录下载至此目录。 此参数可选,默认本地代码目录为“/home/ma-user/modelarts/user-job-dir”。 工作目录 训练时,系统会自动cd到此目录下执行启动文件。
  • 前提条件 已经将用于训练作业的数据上传至OBS目录。 已经在OBS目录下创建了至少1个空的文件夹,用于存储训练输出的内容。 ModelArts不支持加密的OBS桶,创建OBS桶时,请勿开启桶加密。 由于训练作业运行需消耗资源,为了避免训练失败请确保账户未欠费。 确保使用的OBS目录与ModelArts在同一区域。 检查是否配置了访问授权。如果未配置,请参见使用委托授权完成操作。 (可选)如果使用已有算法创建训练作业,需要确认“算法管理”中已准备好算法,具体操作请参见准备算法简介。 (可选)如果使用自定义镜像创建训练作业,需要上传镜像到SWR服务中。
  • 操作流程介绍 创建训练作业的操作步骤如下所示。 进入创建训练作业页面。 配置训练作业基本信息。 根据不同的算法来源,选择不同的训练作业创建方式。 使用预置镜像创建训练作业:选择创建方式(使用预置镜像) 使用自定义镜像创建训练作:选择创建方式(使用自定义镜像) 使用已有算法创建训练作业:选择创建方式(使用我的算法) 使用订阅算法创建训练作业:选择创建方式(使用订阅算法) 配置训练参数:配置训练作业的输入、输出、超参、环境变量等参数。 根据需要选择不同的资源池用于训练作业,推荐使用专属资源池,两者的差异说明请参见专属资源池和公共资源池的能力差异。 配置资源池(公共资源池) 配置资源池(专属资源池) (可选)选择训练模式:当训练作业的算法框架选用的是预置框架的MindSpore类引擎、资源池类型选用的是Ascend资源时,则支持选择训练模式。 (可选)设置标签:如果需要对训练作业进行资源分组管理,可以设置标签。 后续操作。
  • 选择创建方式(使用自定义镜像) 如果选择使用自定义镜像创建训练作业,则参考表3选择训练作业的创建方式。 表3 创建训练作业的创建方式(使用自定义镜像) 参数名称 说明 创建方式 必选,选择“自定义算法”。 启动方式 必选,选择“自定义”。 镜像 必填,填写容器镜像的地址。 容器镜像地址的填写支持如下方式。 选择自有镜像或他人共享的镜像:单击右边的“选择”,从容器镜像中选择用于训练的容器镜像。所需镜像需要提前上传到SWR服务中。 选择公开镜像:直接输入SWR服务中公开镜像的地址。地址直接填写“组织名称/镜像名称:版本名称”,不需要带域名信息,系统会自动拼接域名地址。 代码目录 选择训练代码文件所在的OBS目录。如果自定义镜像中不含训练代码则需要配置该参数,如果自定义镜像中已包含训练代码则不需要配置。 需要提前将代码上传至OBS桶中,目录内文件总大小要小于或等于5GB,文件数要小于或等于1000个,文件深度要小于或等于32。 训练代码文件会在训练作业启动的时候被系统自动下载到训练容器的“${MA_JOB_DIR}/demo-code”目录中,“demo-code”为存放代码目录的最后一级OBS目录。例如,“代码目录”选择的是“/test/code”,则训练代码文件会被下载到训练容器的“${MA_JOB_DIR}/code”目录中。 运行用户ID 容器运行时的用户ID,该参数为选填参数,建议使用默认值1000。 如果需要指定uid,则uid数值需要在规定范围内,不同资源池的uid范围如下: 公共资源池:1000-65535 专属资源池:0-65535 启动命令 必填,镜像的启动命令。 运行训练作业时,当“代码目录”下载完成后,“启动命令”会被自动执行。 如果训练启动脚本用的是py文件,例如“train.py”,则启动命令如下所示。 python ${MA_JOB_DIR}/demo-code/train.py 如果训练启动脚本用的是sh文件,例如“main.sh”,则启动命令如下所示。 bash ${MA_JOB_DIR}/demo-code/main.sh 启动命令支持使用“;”和“&&”拼接多条命令,命令中的“demo-code”为存放代码目录的最后一级OBS目录,以实际情况为准。 说明: 为保证数据安全,请勿输入敏感信息,例如明文密码。 本地代码目录 指定训练容器的本地目录,启动训练时系统会将代码目录下载至此目录。 此参数可选,默认本地代码目录为“/home/ma-user/modelarts/user-job-dir”。 工作目录 训练时,系统会自动cd到此目录下执行启动文件。
  • 约束与限制 介绍测试计划服务中的使用限制,如表1所示。 表1 测试计划使用限制说明 指标类别 指标项 限制说明 浏览器 类型 目前测试计划服务适配的主流浏览器类型包括: Chrome浏览器:支持和测试最新的3个稳定版本 Firefox浏览器:支持和测试最新的3个稳定版本 Microsoft Edge浏览器:Win10默认浏览器,支持和测试最新的3个稳定版本 IE浏览器:不再进行支持与测试。 推荐使用Chrome、Firefox浏览器,效果会更好。 分辨率 分辨率大小 推荐使用1280*1024以上。 单个项目使用限制 单版本最大支持测试用例数(个) 不同套餐规格不同。具体可参考CodeArts套餐规格特性差异、测试计划服务包年/包月套餐特性差异。 CodeArts套餐差异: 体验版、基础版:3000个 专业版、企业版:10000个 测试计划服务套餐差异: 基础版:3000个 专业版:10000个 单项目最大支持版本数(包含基线) 不同套餐规格不同。具体可参考CodeArts套餐规格特性差异、测试计划服务包年/包月套餐特性差异。 CodeArts套餐差异: 体验版、基础版:5个 专业版、企业版:50个 测试计划服务套餐差异: 基础版:5个 专业版:50个 单个附件大小(M) 10 单个测试用例关联标签(个) 10 单个项目最大目录个数(个) 5000 单个需求最大关联用例数(个) 不同套餐规格不同。具体可参考CodeArts套餐规格特性差异、测试计划服务包年/包月套餐特性差异。 CodeArts套餐差异: 体验版、基础版:3000个 专业版、企业版:10000个 测试计划服务套餐差异: 基础版:3000个 专业版:10000个 单个测试计划关联需求数(个) 300 单个测试计划可添加的用例数(个) 35000 手工测试用例自定义状态个数(个) 10 手工测试用例自定义结果个数(个) 10 手工测试套自定义状态个数(个) 10 手工测试套自定义结果个数(个) 10 单个手工测试用例最大执行数 10000 单项目接口自动化环境参数环境个数 50 接口自动化环境参数单个环境下参数个数 50 接口测试单个任务执行时长(分钟) 10 单个手工测试套件关联用例数(个) 3000 单个接口自动化测试套件关联用例数(个) 150 单项目测试套件个数上限 10000 单个租户ATGen试点项目数量(个) 1 单个项目的ATGen最大创建任务数量(个) 10 单个ATGen任务最大被测接口数量(个) 200 单个ATGen任务最大被测接口依赖数量 10000 单个ATGen任务接口最大下发请求执行次数(次) 100000
  • 管理算力预申请 在“我的算力预申请”页面可以管理已提交预申请,例如编辑预申请信息、撤回预申请等。 编辑预申请信息 当预申请的“审批状态”为“已撤回”和“已拒绝”时,单击操作列的“编辑”进入预购申请页面,修改预购信息后,重新提交申请。 撤回预申请 当预申请的“审批状态”为“待审批”时,单击操作列的“撤销”将预申请变为“已撤销”状态,管理员将无法看到这条申请单,你可以再次编辑预申请信息后再提交。 购买资源 当预申请的“审批状态”为“审批通过”时,单击操作列的“购买”跳转至ModelArts的购买资源池页面(购买专属资源池或创建DevServer),参考购买并访问专属资源池可以购买ModelArts Lite的专属资源池。
  • 使用流程 本节主要介绍在AI Gallery中管理资产的整体流程。 在AI Gallery中,需要先将本地数据上传到AI Gallery仓库,创建AI Gallery模型、AI Gallery数据集、AI应用等资产,具体可参见托管模型到AI Gallery、托管数据集到AI Gallery、发布本地AI应用到AI Gallery。 资产创建完成后,需要将资产进行发布操作,具体可参见发布模型到AI Gallery、发布数据集到AI Gallery。对于支持部署为AI应用的AI Gallery模型,可将此模型部署为AI应用,具体可参见将AI Gallery中的模型部署为AI应用。 发布后的资产,可通过微调大师训练模型和在线推理服务部署模型,具体可参见使用AI Gallery微调大师训练模型、使用AI Gallery在线推理服务部署模型。
  • 请求示例 POST https://dme.cn-north-4.huaweicloud.com/rdm_b3f9b7523a6141f4b2d76b92d6595281_app/publicservices/api/RelationModel/queryTarget/10/1 { "params" : { "sourceId" : "614786412419489792", "targetType" : "Student", "latestOnly" : true } }
  • 响应示例 状态码: 200 OK { "result" : "SUC CES S", "data" : [ { "id" : "614786496192323584", "creator" : "xdmAdmin", "createTime" : "2024-03-28T03:42:02.873+0000", "modifier" : "xdmAdmin", "lastUpdateTime" : "2024-03-28T03:42:02.873+0000", "rdmExtensionType" : "Student", "tenant" : { "id" : "-1", "creator" : "xdmAdmin", "createTime" : "2024-03-28T03:28:34.795+0000", "modifier" : "xdmAdmin", "lastUpdateTime" : "2024-03-28T03:28:34.795+0000", "rdmExtensionType" : "Tenant", "tenant" : null, "className" : "Tenant", "name" : "basicTenant", "description" : "默认租户", "code" : "basicTenant", "disableFlag" : false, "dataSource" : "DefaultDataSource" }, "className" : "Student", "name" : "张三", "description" : null, "grade" : "98.99" } ], "errors" : [ ], "pageInfo" : { "curPage" : 1, "pageSize" : 10, "totalRows" : 1, "totalPages" : 1 } }
  • URI POST /rdm_{identifier}_app/publicservices/api/{modelName}/queryTarget/{pageSizePath}/{curPagePath} 表1 路径参数 参数 是否必选 参数类型 描述 pageSizePath 是 Integer 参数解释: 分页大小(路径参数)。 约束限制: 不涉及。 取值范围: 1-1000。 默认取值: 不涉及。 curPagePath 是 Integer 参数解释: 当前页数(路径参数)。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 1。 identifier 是 String 参数解释: 应用唯一标识。 约束限制: 不涉及。 取值范围: 由英文字母和数字组成,且长度为32个字符。 默认取值: 不涉及。 modelName 是 String 参数解释: 数据模型的英文名称。 约束限制: 不涉及。 取值范围: 大写字母开头,只能包含字母、数字、"_",且长度为[1-60]个字符。 默认取值: 不涉及。 表2 Query参数 参数 是否必选 参数类型 描述 curPage 否 Integer 参数解释: 当前页。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 1。 endIndex 否 Integer 参数解释: 结束索引。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 0。 maxPageSize 否 Integer 参数解释: 最大分页数。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 1000。 pageSize 否 Integer 参数解释: 每页大小。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 1000。 startIndex 否 Integer 参数解释: 起始索引。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 0。 totalPages 否 Integer 参数解释: 总页数。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 0。 totalRows 否 Integer 参数解释: 总行数。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 0。
  • 响应参数 状态码: 200 表6 响应Body参数 参数 参数类型 描述 result String 参数解释: 请求结果。 取值范围: SUCCESS:请求成功。 FAIL:请求失败。 默认取值: 不涉及。 data Array of StudentQueryViewDTO objects 参数解释: 请求数据。 取值范围: 不涉及。 默认取值: 不涉及。 errors Array of strings 参数解释: 异常信息。 取值范围: 不涉及。 默认取值: 不涉及。 pageInfo PageInfoViewDTO object 参数解释: 分页信息。 取值范围: 不涉及。 默认取值: 不涉及。 表7 StudentQueryViewDTO 参数 参数类型 描述 id String 参数解释: 唯一标识。 取值范围: -9223372036854775808到9223372036854775807的整数。 默认取值: 不涉及。 creator String 参数解释: 创建者。 取值范围: 不涉及。 默认取值: 不涉及。 createTime String 参数解释: 创建时间。 取值范围: 不涉及。 默认取值: 不涉及。 modifier String 参数解释: 修改人。 取值范围: 不涉及。 默认取值: 不涉及。 lastUpdateTime String 参数解释: 最后的修改时间。 取值范围: 不涉及。 默认取值: 不涉及。 rdmExtensionType String 参数解释: 扩展类型。 取值范围: 不涉及。 默认取值: 不涉及。 tenant TenantViewDTO object 参数解释: 租户信息。 取值范围: 不涉及。 默认取值: 不涉及。 className String 参数解释: 类名。 取值范围: 不涉及。 默认取值: 不涉及。 name String 参数解释: 名称。 取值范围: 不涉及。 默认取值: 不涉及。 description String 参数解释: 描述。 取值范围: 不涉及。 默认取值: 不涉及。 grade Number 参数解释: 成绩。 取值范围: 不涉及。 默认取值: 不涉及。 表8 TenantViewDTO 参数 参数类型 描述 className String 参数解释: 类名。 取值范围: 不涉及。 默认取值: 不涉及。 code String 参数解释: 租户编码。 取值范围: 不涉及。 默认取值: 不涉及。 createTime String 参数解释: 创建时间。 取值范围: 不涉及。 默认取值: 不涉及。 creator String 参数解释: 创建者。 取值范围: 不涉及。 默认取值: 不涉及。 dataSource String 参数解释: 租户使用的数据源名称。 取值范围: 不涉及。 默认取值: 不涉及。 description String 参数解释: 描述信息。 取值范围: 不涉及。 默认取值: 不涉及。 disableFlag Boolean 参数解释: 失效标识。 取值范围: true:失效。 false:未失效。 默认取值: false。 id String 参数解释: 唯一标识。 取值范围: -9223372036854775808到9223372036854775807的整数。 默认取值: 不涉及。 kiaguid String 参数解释: KIA密级。 取值范围: 不涉及。 默认取值: 不涉及。 lastUpdateTime String 参数解释: 最后更新时间。 取值范围: 不涉及。 默认取值: 不涉及。 modifier String 参数解释: 修改人。 取值范围: 不涉及。 默认取值: 不涉及。 name String 参数解释: 中文名称。 取值范围: 不涉及。 默认取值: 不涉及。 rdmDeleteFlag Integer 参数解释: 软删除标识。 取值范围: 0:表示未删除。 1:表示已删除。 默认取值: 0。 rdmExtensionType String 参数解释: 扩展类型。 取值范围: 不涉及。 默认取值: 不涉及。 rdmVersion Integer 参数解释: 系统版本。 取值范围: 不涉及。 默认取值: 不涉及。 securityLevel String 参数解释: 安全密级。 取值范围: INTERNAL:内部公开。 SECRET:秘密。 CONFIDENTIAL:机密。 TOP_SECRET:绝密。 默认取值: 不涉及。 tenant TenantViewDTO object 参数解释: 租户信息。 取值范围: 不涉及。 默认取值: 不涉及。 表9 PageInfoViewDTO 参数 参数类型 描述 curPage Integer 参数解释: 当前页。 取值范围: 不涉及。 默认取值: 不涉及。 pageSize Integer 参数解释: 每页大小。 取值范围: 不涉及。 默认取值: 不涉及。 totalRows Integer 参数解释: 总行数。 取值范围: 不涉及。 默认取值: 不涉及。 totalPages Integer 参数解释: 总页数。 取值范围: 不涉及。 默认取值: 不涉及。
  • 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 参数解释: IAM用户的token。 获取方法请参见获取IAM用户Token。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 表4 请求Body参数 参数 是否必选 参数类型 描述 applicationId 否 String 参数解释: 应用ID。 约束限制: 不涉及。 取值范围: 由英文字母和数字组成,且长度为32个字符。 默认取值: 不涉及。 params 否 GenericLinkTypeDTO object 参数解释: 请求参数对象。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 表5 GenericLinkTypeDTO 参数 是否必选 参数类型 描述 latestOnly 否 Boolean 参数解释: 是否返回源模型 数据实例 关联的最新版本目标模型数据实例。此参数仅对源/目标模型为M-V模型实体有效。 约束限制: 不涉及。 取值范围: true:返回源模型数据实例关联的最新版本的目标模型数据实例。 false:返回源模型数据实例关联的所有版本的目标模型数据实例。默认为false。 默认取值: false。 sourceId 否 String 参数解释: 源模型数据实例的ID。 约束限制: 不涉及。 取值范围: -9223372036854775808到9223372036854775807的整数。 默认取值: 不涉及。 targetType 否 String 参数解释: 目标模型的英文名称。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。
共100000条