华为云用户手册

  • IAM 权限 默认情况下,管理员创建的IAM用户(子用户)没有任何权限,需要将其加入用户组,并对用户组授权,才能使得用户组中的用户获得对应的权限。授权后,用户就可以基于被授予的权限对云服务进行操作。 服务使用OBS存储训练数据和评估数据,如果需要对OBS的访问权限进行细粒度的控制。可以在盘古服务的委托中增加Pangu OBSWriteOnly、Pangu OBSReadOnly策略,控制OBS的读写权限。 表1 策略信息 策略名称 拥有细粒度权限/Action 权限描述 Pangu OBSWriteOnly obs:object:AbortMultipartUpload obs:object:DeleteObject obs:object:DeleteObjectVersion obs:object:PutObject 拥有用户OBS桶写权限 Pangu OBSReadOnly obs:bucket:GetBucketLocation obs:bucket:HeadBucket obs:bucket:ListAllMyBuckets obs:bucket:ListBucket obs:object:GetObject obs:object:GetObjectAcl obs:object:GetObjectVersion obs:object:GetObjectVersionAcl obs:object:ListMultipartUploadParts 拥有用户OBS桶只读权限
  • 大模型相关概念 概念名 说明 大模型是什么 大模型是大规模预训练模型的简称,也称预训练模型或基础模型。所谓预训练模型,是指在一个原始任务上预先训练出一个初始模型,然后在下游任务中对该模型进行精调,以提高下游任务的准确性。大规模预训练模型则是指模型参数达到千亿、万亿级别的预训练模型。此类大模型因具备更强的泛化能力,能够沉淀行业经验,并更高效、准确地获取信息。 大模型的计量单位token指的是什么 令牌(Token)是指模型处理和生成文本的基本单位。token可以是词或者字符的片段。模型的输入和输出的文本都会被转换成token,然后根据模型的概率分布进行采样或计算。 例如,在英文中,有些组合单词会根据语义拆分,如overweight会被设计为2个token:“over”、“weight”。在中文中,有些汉字会根据语义被整合,如“等于”、“王者荣耀”。 在盘古大模型中,以N1系列模型为例,盘古1token≈0.75个英文单词,1token≈1.5汉字。不同模型的具体情况详见表1。 表1 token比 模型规格 token比(token/英文单词) token比(token/汉字) N1系列模型 0.75 1.5 N2系列模型 0.88 1.24 N4系列模型 0.75 1.5
  • 推理相关概念 表3 训练相关概念说明 概念名 说明 温度系数 温度系数(temperature)控制生成语言模型中生成文本的随机性和创造性,调整模型的softmax输出层中预测词的概率。其值越大,则预测词的概率的方差减小,即很多词被选择的可能性增大,利于文本多样化。 多样性与一致性 多样性和一致性是评估LLM生成语言的两个重要方面。 多样性指模型生成的不同输出之间的差异。一致性指相同输入对应的不同输出之间的一致性。 重复惩罚 重复惩罚(repetition_penalty)是在模型训练或生成过程中加入的惩罚项,旨在减少重复生成的可能性。通过在计算损失函数(用于优化模型的指标)时增加对重复输出的惩罚来实现的。如果模型生成了重复的文本,它的损失会增加,从而鼓励模型寻找更多样化的输出。
  • 身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务,有以下两种调用方式: Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。经过认证的请求总是需要包含一个签名值,该签名值以请求者的访问密钥(AK/SK)作为加密因子,结合请求体携带的特定信息计算而成。通过访问密钥(AK/SK)认证方式进行认证鉴权,即使用Access Key ID(AK)/Secret Access Key(SK)加密的方法来验证某个请求发送者身份。 父主题: 安全
  • 训练相关概念 表2 训练相关概念说明 概念名 说明 自监督学习 自监督学习(Self-Supervised Learning,简称SSL)是一种机器学习方法,它从未标记的数据中提取监督信号,属于无监督学习的一个子集。该方法通过创建“预设任务”让模型从数据中学习,从而生成有用的表示,可用于后续任务。它无需额外的人工标签数据,因为监督信号直接从数据本身派生。 有监督学习 有监督学习是机器学习任务的一种。它从有标记的训练数据中推导出预测函数。有标记的训练数据是指每个训练实例都包括输入和期望的输出。 LoRA 局部微调(LoRA)是一种优化技术,用于在深度学习模型的微调过程中,只对模型的一部分参数进行更新,而不是对所有参数进行更新。这种方法可以显著减少微调所需的计算资源和时间,同时保持或接近模型的最佳性能。 过拟合 过拟合是指为了得到一致假设而使假设变得过度严格,会导致模型产生“以偏概全”的现象,导致模型泛化效果变差。 欠拟合 欠拟合是指模型拟合程度不高,数据距离拟合曲线较远,或指模型没有很好地捕捉到数据特征,不能够很好地拟合数据。 损失函数 损失函数(Loss Function)是用来度量模型的预测值f(x)与真实值Y的差异程度的运算函数。它是一个非负实值函数,通常使用L(Y, f(x))来表示,损失函数越小,模型的鲁棒性就越好。
  • 提示词工程相关概念 表4 提示词工程相关概念说明 概念名 说明 提示词 提示词(Prompt)是一种用于与AI人工智能模型交互的语言,用于指示模型生成所需的内容。 思维链 思维链 (Chain-of-Thought)是一种模拟人类解决问题的方法,通过一系列自然语言形式的推理过程,从输入问题开始,逐步推导至最终输出结论。 Self-instruct Self-instruct是一种将预训练语言模型与指令对齐的方法,允许模型自主生成数据,而不需要大量的人工标注。
  • 政务 通过CV大模型结合无代码/低代码AI开发工作流,面向城市政务场景的碎片化长尾需求,将传统的“专家式”、“作坊式”开发模式转变为“流水线”生产。 在城市政务“一网统管”的场景中,往往建设有庞大复杂的城市事件类别体系,包含了繁多细碎的事项类别,如垃圾暴露、道路破损、围栏破损等,一个城市一般有几百种事件类别。同时,不同城市可能还有不同的标准,某城市关注某一些特定事件类别,另一个城市又关注另一些特定事件类别。因此,城市政务场景面临着众多碎片化AI需求场景。 传统的AI开发模式需要对每种目标类别单独采集数据、训练模型,依赖专家经验进行算法参数调优,最后才能上线应用。基于ModelArts Studio平台开发工作流,将数据标注、模型训练、部署上线等繁杂的流程固化为一个流水线的步骤。通过大模型的能力,即使只有少量样本,也可以达到良好的模型泛化性和鲁棒性,解决碎片化AI需求的问题。
  • 迁移能力强 盘古大模型的迁移能力是其适应多变业务需求的关键。除了在已有领域中表现出色,它还能通过少量的新数据快速迁移到新的领域或场景。这种迁移能力使模型能够在面对新挑战时迅速调整和优化,提供适应新领域的服务。 通过微调技术,盘古大模型能够在保持原有优势的同时,融入新领域的特征和规律,实现对新任务的快速适应。这种能力极大地扩展了模型的应用范围,使其在更广泛的业务场景中发挥作用,为用户提供更加全面和深入的智能服务。
  • 农业 科学计算大模型包括全球中期天气要素模型和降水模型,可以对未来一段时间的天气和降水进行预测,全球中期天气要素模型和降水模型能够在全球范围内进行预测,不仅仅局限于某个地区。它的分辨率相当于赤道附近每个点约25公里x25公里的空间。通过降水模型预测未来的降雨情况,农民和农业管理者可以更有效地规划灌溉时间和频率,也能为可能发生的干旱提供预警,使农业部门能够及时采取措施,如推广节水技术或调整种植计划。
  • 空间管理 ModelArts Studio大模型开发平台为用户提供了灵活且高效的空间资产管理方式。平台支持用户根据不同的使用场景、项目类别或团队需求,自定义创建多个工作空间。每个工作空间都是完全独立的,确保了工作空间内的资产不受其他空间的影响,从而保障数据和资源的隔离性与安全性。用户可以根据需求灵活划分工作空间,实现资源的有序管理与优化配置,确保各类资源在不同场景中的最大化利用。为进一步优化资源的管理,平台还提供了多种角色权限体系。用户可以根据自身角色从管理者到各模块人员进行不同层级的权限配置,确保每个用户在其指定的工作空间内,拥有合适的访问与操作权限。这种精细化的权限管理方式,既保证了数据的安全性,又提高了资源的高效利用。 在平台中,空间资产指的是存储在工作空间中的所有资源,包括数据资产和模型资产。这些资产是用户在平台上进行开发和管理的基础,集中存储和统一管理的方式有助于提升操作效率,并确保资源的规范性与安全性。 数据资产:数据资产是指用户在平台上发布的所有数据集。这些数据集会被存储在数据资产中,用户可以随时查看数据集的详细信息,如数据格式、大小、配比比例等,同时平台会自动记录每个数据集的操作历史,例如创建、发布及上线等过程。为了进一步简化管理,平台还支持数据集的删除功能,使用户能够对数据集进行灵活管理和调整。在模型训练和数据分析过程中,用户可以根据需求调用这些数据集,确保数据的准确性与安全性,从而提升数据资产的利用率。同时支持数据集发布到Gallery,支持从Gallery订阅数据集。 模型资产:模型资产包括用户试用、订购或在平台上训练后发布的模型,这些模型统一存储在模型资产中,便于集中管理。用户可以查看模型的所有历史版本及操作记录,从而了解模型的演变过程。同时,平台支持一系列便捷的模型操作,如模型训练、压缩和部署,帮助用户简化模型开发和应用流程。此外,平台还提供了导入和导出功能,支持用户将其他局点的盘古大模型迁移到本地局点,这使得模型资产在不同局点间的共享和管理变得更加灵活高效。 通过统一管理空间资产,平台不仅帮助用户高效组织和利用资源,还保障了资产的安全性、一致性与灵活性。这些功能的结合,确保了平台上资源的高效利用与智能配置,为用户提供了更为便捷的开发和管理体验。 父主题: 产品功能
  • 模型开发 ModelArts Studio大模型开发平台提供了模型开发功能,涵盖了从模型训练到模型调用的各个环节。平台支持全流程的模型生命周期管理,确保从数据准备到模型部署的每一个环节都能高效、精确地执行,为实际应用提供强大的智能支持。 模型训练:在模型开发的第一步,ModelArts Studio大模型开发平台为用户提供了丰富的训练工具与灵活的配置选项。用户可以根据实际需求选择合适的模型架构,并结合不同的训练数据进行精细化训练。平台支持分布式训练,能够处理大规模数据集,从而帮助用户快速提升模型性能。 模型评测:为了确保模型的实际应用效果,平台提供了多维度的模型评测功能。通过自动化的评测机制,用户可以在训练过程中持续监控模型的精度、召回率等关键指标,及时发现潜在问题并优化调整。评测功能能够帮助用户在多种应用场景下验证模型的准确性与可靠性。 模型压缩:在模型部署前,进行模型压缩是提升推理性能的关键步骤。通过压缩模型,能够有效减少推理过程中的显存占用,节省推理资源,同时提高计算速度。当前,平台支持对NLP大模型进行压缩。 模型部署:平台提供了一键式模型部署功能,用户可以轻松将训练好的模型部署到云端或本地环境中。平台支持多种部署模式,能够满足不同场景的需求。通过灵活的API接口,模型可以无缝集成到各类应用中。 模型调用:在模型部署后,用户可以通过模型调用功能快速访问模型的服务。平台提供了高效的API接口,确保用户能够方便地将模型嵌入到自己的应用中,实现智能对话、文本生成等功能。 父主题: 产品功能
  • 客服 通过NLP大模型对传统的客服系统进行智能化升级,提升智能客服的效果。企业原智能客服系统仅支持回复基础的FAQ,无语义泛化能力,意图理解能力弱,转人工频率极高。面对活动等时效性场景,智能客服无回答能力。提高服务效率:大模型智能客服可以7x24小时不间断服务,相较于人工客服,可以处理更多的客户咨询,且响应速度快;降低运营成本:企业可以通过智能客服处理大部分的常规问题,将人工客服释放出来处理更复杂、更个性化的客户需求;个性化服务:基于大模型的智能客服能够学习和适应用户的行为模式和偏好,提供更加个性化的服务。
  • 模型效果优秀 经过海量数据训练,盘古大模型在各种 自然语言处理 任务中展现出卓越的性能。无论是文本分类、情感分析、 机器翻译 ,还是问答系统,模型都能以高准确率完成任务,为用户提供高质量的输出结果。 这种卓越的表现源于其先进的算法和深度学习架构。盘古大模型能够深入理解语言的内在逻辑与语义关系,因此在处理复杂语言任务时展现出更高的精准度和效率。这不仅提高了任务的成功率,也大幅提升了用户体验,使盘古大模型成为企业和开发者构建智能应用的首选。
  • 代码助手 在软件开发领域,编程语言的多样性和复杂性给程序员带来了巨大的挑战。盘古NLP大模型为程序员提供了强大的代码助手,显著提升了研发效率。 盘古大模型能够根据用户给定的题目,快速生成高质量的代码,支持Java、Python、Go等多种编程语言。它不仅能够提供完整的代码实现,还能够根据用户的需求,进行代码补全和不同编程语言之间的改写转化。借助盘古大模型,程序员可以更加专注于创新和设计,而无需过多关注繁琐的编码工作。它不仅提升了代码的质量和稳定性,还缩短了开发周期,加速了产品的迭代和发布。
  • 海量训练数据 盘古大模型依托海量且多样化的训练数据,涵盖从日常对话到专业领域的广泛内容,帮助模型更好地理解和生成自然语言文本,适用于多个领域的业务应用。这些数据不仅丰富多样,还为模型提供了深度和广度的语言学习基础,使其能够生成更加自然、准确且符合语境的文本。 通过对海量数据的深入学习和分析,盘古大模型能够捕捉语言中的细微差别和复杂模式,无论是在词汇使用、语法结构,还是语义理解上,都能达到令人满意的精度。此外,模型具备自我学习和不断进化的能力,随着新数据的持续输入,其性能和适应性不断提升,确保在多变的语言环境中始终保持领先地位。
  • 盘古CV大模型能力与规格 盘古CV大模型基于海量图像、视频数据和盘古独特技术构筑的视觉基础模型,赋能行业客户利用少量场景数据对模型微调即可实现特定场景任务。 ModelArts Studio大模型开发平台为用户提供了多种规格的CV大模型,以满足不同场景和需求。以下是当前支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。 模型支持区域 模型名称 说明 西南-贵阳一 Pangu-CV-ObjectDetection-N-2.1.0 2024年12月发布的版本,支持全量微调、在线推理。 在选择和使用盘古大模型时,了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是盘古CV大模型支持的具体操作: 模型 预训练 微调 模型评测 模型压缩 在线推理 能力调测 Pangu-CV-ObjectDetection-N-2.1.0 - √ - - √ - 父主题: 模型能力与规格
  • 数据保护技术 盘古大模型服务通过多种数据保护手段和特性,保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密(HTTPS) 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS数据保护技术说明:https://support.huaweicloud.com/productdesc-obs/obs_03_0375.html 父主题: 安全
  • 盘古预测大模型能力与规格 盘古预测大模型是面向结构化数据,通过任务理解、模型推荐、模型融合技术,构建通用的预测能力。 ModelArts Studio大模型开发平台为用户提供了多种规格的预测大模型,以满足不同场景和需求。以下是当前支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。 模型支持区域 模型名称 说明 西南-贵阳一 Pangu-Predict-Table-Cla-2.0.0 2024年12月发布的版本,支持分析历史数据中的特征与类别的关系,学习出一种映射规则或函数,然后应用这个规则对未来未知的数据点进行分类。 Pangu-Predict-Table-Reg-2.0.0 2024年12月发布的版本,支持根据已知的输入变量(特征)来预测一个连续型输出变量(目标变量)。 Pangu-Predict-Table-Anom-2.0.0 2024年12月发布的版本,支持识别数据集中不符合预期模式或行为的数据点。 Pangu-Predict-Table-TimSeries-2.0.0 2024年12月发布的版本,支持根据历史时间序列数据来预测未来的值,广泛应用于金融、销售预测、天气预报、能源消耗预测等领域。 在选择和使用盘古大模型时,了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是盘古预测大模型支持的具体操作: 模型 预训练 微调 模型评测 模型压缩 在线推理 能力调测 Pangu-Predict-Table-Cla-2.0.0 - √ - - √ - Pangu-Predict-Table-Reg-2.0.0 - √ - - √ - Pangu-Predict-Table-Anom-2.0.0 - √ - - √ - Pangu-Predict-Table-TimSeries-2.0.0 - √ - - √ - 父主题: 模型能力与规格
  • 盘古NLP大模型能力与规格 盘古NLP大模型是业界首个超千亿参数的中文预训练大模型,结合了大数据预训练和多源知识,借助持续学习不断吸收海量文本数据,持续提升模型性能。除了实现行业知识检索、文案生成、阅读理解等基础功能外,盘古NLP大模型还具备模型调用等高级特性,可在智能客服、创意营销等多个典型场景中,提供强大的AI技术支持。 ModelArts Studio大模型开发平台为用户提供了多种规格的NLP大模型,以满足不同场景和需求。不同模型在处理上下文token长度和功能上有所差异,以下是当前支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。 表1 盘古NLP大模型规格 模型支持区域 模型名称 可处理最大上下文长度 可处理最大输出长度 说明 西南-贵阳一 Pangu-NLP-N1-Chat-32K-20241130 32K 4K 2024年11月发布的版本,支持8K序列长度训练,4K/32K序列长度推理。全量微调、LoRA微调8个训练单元起训,1个推理单元即可部署。 Pangu-NLP-N1-Chat-128K-20241130 128K 4K 2024年11月发布的版本,仅支持128K序列长度推理。 Pangu-NLP-N2-Base-20241030 - 4K 2024年11月发布的版本,仅支持模型增量预训练。32个训练单元起训,预训练后的模型版本需要通过微调之后,才可支持推理部署。 Pangu-NLP-N2-Chat-32K-20241030 32K 4K 2024年10月发布版本,支持8K序列长度训练,4K/32K序列长度推理。全量微调32个训练单元起训,LoRA微调8个训练单元起训,4个推理单元即可部署。此模型版本差异化支持预训练特性、INT8量化特性。 Pangu-NLP-N2-32K-3.1.35 32K 4K 2024年12月发布版本,支持8K序列长度训练,4K/32K序列长度推理。全量微调32个训练单元起训,LoRA微调8个训练单元起训,4个推理单元即可部署,4K支持64并发,32K支持64并发。此模型版本差异化支持预训练特性、INT8量化特性。 Pangu-NLP-N2-128K-3.1.35 128K 4K 2024年12月发布的版本,仅支持128K序列长度推理部署。 Pangu-NLP-N2-256K-3.1.35 256K 4K 2024年12月发布的版本,仅支持256K序列长度推理部署。 Pangu-NLP-N4-Chat-4K-20241130 32K 4K 2024年11月发布的版本,支持4K序列长度训练,4K序列长度推理。全量微调64个训练单元起训,LoRA微调32个训练单元起训,8个训练单元即可部署。此模型版本差异化支持预训练、INT8/INT4量化特性。 Pangu-NLP-N4-Chat-32K-20241130 32K 4K 2024年11月发布的版本,仅支持32K序列长度推理部署。 在选择和使用盘古大模型时,了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、在线推理和能力调测等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是盘古NLP大模型支持的具体操作: 表2 盘古NLP大模型支持的能力 模型 预训练 微调 模型评测 模型压缩 在线推理 能力调测 Pangu-NLP-N1-Chat-32K-20241130 - √ √ √ √ √ Pangu-NLP-N1-Chat-128K-20241130 - - √ - √ √ Pangu-NLP-N2-Base-20241030 √ - √ - - - Pangu-NLP-N2-Chat-32K-20241030 - √ √ √ √ √ Pangu-NLP-N2-32K-3.1.35 √ √ √ √ √ √ Pangu-NLP-N2-128K-3.1.35 - - √ - √ √ Pangu-NLP-N2-256K-3.1.35 - - √ - √ √ Pangu-NLP-N4-Chat-4K-20241130 - √ √ √ √ √ Pangu-NLP-N4-Chat-32K-20241130 - √ √ √ √ √ 父主题: 模型能力与规格
  • Agent开发 Agent开发平台为开发者提供了一个全面的工具集,帮助您高效地开发、优化和部署应用智能体。无论您是新手还是有经验的开发者,都能通过平台提供的提示词工程、插件扩展、灵活的工作流设计和全链路调测功能,快速实现智能体应用的开发与落地,加速行业AI应用的创新与应用。 对于零码开发者(无代码开发经验的用户): 平台提供了Prompt提示词工程和插件自定义等功能,帮助用户在无需编写代码的情况下,快速构建、调优并运行属于自己的大模型应用。通过简单的配置,用户可以轻松创建Agent应用,快速体验智能化应用的便捷性。 平台提供导入知识功能,支持用户存储和管理数据,并与AI应用进行互动。支持多种格式的本地文档(如docx、pptx、pdf等),方便导入至知识,为Agent应用提供个性化数据支持。 平台还提供全链路信息观测和调试工具,支持开发者深入分析Agent执行过程中的每个环节。通过对信息进行分层展示,帮助开发者优化AI应用的性能和稳定性,确保应用在不同环境下的顺畅运行。 对于低码开发者(具有一定代码开发经验的用户): 基于上述功能,平台还提供了灵活的工作流设计功能,支持用户编写少量代码来构建逻辑复杂、稳定性要求高的Agent应用。通过拖拉拽方式,开发者可以组合各种组件(如大模型、代码、意图识别等),快速搭建工作流,实现更高效的应用开发。 平台还提供全链路信息观测和调试工具,支持开发者深入分析工作流执行过程中的每个环节。通过对信息进行分层展示,帮助开发者优化AI应用的性能和稳定性,确保应用在不同环境下的顺畅运行。 父主题: 产品功能
  • 数据工程 ModelArts Studio开发平台提供了全面的数据工程功能。该模块涵盖数据获取、加工、标注、评估和发布等关键环节,帮助用户高效构建高质量的训练数据集,推动AI应用的成功落地。具体功能如下: 数据获取:用户可以轻松将多种类型的数据导入ModelArts Studio大模型开发平台,支持的数据类型包括文本、图片、视频、气象、预测数据以及用户自定义的其他类型数据。平台提供灵活的数据接入方式以及支持多种文件格式导入,确保不同业务场景下的数据获取需求得到满足。 数据清洗:平台提供强大的数据清洗功能,可以对文本、视频、图片、气象类型的数据进行数据提取、过滤、转换、打标签和评分等加工处理。针对不同类型的数据集,平台提供了专用的清洗算子以及支持用户创建自定义算子实现个性化的数据清洗诉求。确保生成高质量的训练数据以满足业务需求和模型训练的要求。用户还可以灵活地调整算子编排顺序以及自定义清洗模板,有效提升数据清洗效率并支持大规模数据处理,确保生成的数据集符合训练的标准。 数据合成:平台支持利用预置或自定义的数据指令对预训练文本、单轮问答、单轮问答(人设))数据集类型进行处理,并根据设定的轮数生成新数据。通过数据合成技术,可以生成大量高质量的训练数据,这些数据可以用于大模型的预训练,增强模型的泛化能力和性能。 数据标注:平台支持对无标签的数据添加标签或对现有的标签进行重新标注,以提升数据集的标注质量。用户可以针对不同的数据集灵活地选择对应的标注项,还可以自定义选择多人标注、审核以及标注任务移交。针对文本和图片类数据集,平台还提供AI预标注功能。利用盘古大模型的智能能力,显著降低人工标注的工作量和成本,从而显著地提高标注效率。 数据评估:平台支持对处理后的文本、图片、视频等多种格式数据进行质量评估,并预置了基础的评估标准,用户可以直接使用预置标准或创建自定义评估标准,以满足个性化的数据质量需求。最终生成详细的质量评估报告,这些报告能够帮助用户检验数据的准确性、完整性和一致性,确保数据在进行模型训练前的高质量标准,以保证模型在实际应用中的可靠性和稳定性。 数据配比:平台支持对文本、图片类数据进行数据配比。用户在勾选数据集时可以勾选多条,通过调整不同来源或类型数据的比例,以优化模型训练过程。通过数据配比可以确保模型能够更全面地学习和理解数据的多样性,提高模型的泛化能力和性能。 数据流通:平台支持数据集配比、拆分发布。用户可以将处理后的数据集发布为多种格式,包括默认格式和盘古格式。尤其对于文本类和图片类数据集,平台支持将其转换为专门用于训练盘古大模型的盘古格式,为后续模型训练提供高效的数据支持。 数据管理:平台支持数据全链路血缘追溯,用户单击数据集名称可以在“数据血缘”页签,查看该数据集所经历的操作。全链路血缘追溯可以帮助用户正向实现数据集影响分析,逆向实现快速问题追踪,提升数据运维和 数据治理 的效率,帮助用户更好地对数据进行追根溯源。另外平台还提供了完善的标签体系、支持数据按行业标准进行分类、按行业标准进行安全分级、内置场景分类标签。帮助用户进行数据分类、数据质量控制和数据资产管理,提升数据治理的效率和效果。 通过整合上述功能,数据工程在AI研发中不仅帮助用户高效构建高质量的训练数据集,还通过全流程的数据处理和管理,探索数据与模型性能的内在联系,为模型训练和应用提供坚实的数据基础,推动了模型的精确训练与持续优化,提升了AI应用开发的效率和成果的可靠性。 父主题: 产品功能
  • 网格型产品按需套餐包-专业版价格详情 表5 专业版价格详情 区域 探针实例(个) 包1月 包1年 价格单位 华北-北京四 华南-广州 10 500 5,000 元 20 1,000 10,000 元 50 2,500 25,000 元 100 5,000 50,000 元 200 10,000 100,000 元 500 25,000 250,000 元 1,000 50,000 500,000 元 2,000 100,000 1,000,000 元
  • 探针型产品按需套餐包-铂金版价格详情 表3 铂金版价格详情 区域 探针实例(个) 包1月 包1年 价格单位 华北-北京四 华东-上海一 华南-广州 西南-贵阳一 200 140,000 1,400,000 元 500 280,000 2,800,000 元 1,000 595,000 5,950,000 元 2,000 980,000 9,800,000 元 中国-香港 200 227,509 2,275,112 元 500 455,018 4,550,232 元 1,000 966,924 9,669,244 元 2,000 1,592,578 15,925,808 元 亚太-新加坡 200 220,915 2,209,167 元 500 441,829 4,418,341 元 1,000 938,898 9,388,976 元 2,000 1,546,416 15,464,190 元 亚太-曼谷 200 227,509 2,275,112 元 500 455,018 4,550,232 元 1,000 966,924 9,669,244 元 2,000 1,592,578 15,925,808 元 拉美-圣地亚哥 200 237,400.71 2,374,030.15 元 500 474,801.42 4,748,067.99 元 1,000 1,008,964.54 10,089,645.45 元 2,000 1,661,820.34 16,618,234.13 元 非洲-约翰内斯堡 200 220,915 2,209,167 元 500 441,829 4,418,341 元 1,000 938,898 9,388,976 元 2,000 1,546,416 15,464,190 元
  • 探针型产品按需套餐包-企业版价格详情 表2 企业版价格详情 区域 探针实例(个) 包1月 包1年 价格单位 华北-北京四 华东-上海一 华南-广州 西南-贵阳一 10 2,000 20,000 元 20 4,000 40,000 元 50 10,000 100,000 元 100 18,000 180,000 元 200 36,000 360,000 元 500 80,000 800,000 元 1,000 140,000 1,400,000 元 2,000 280,000 2,800,000 元 中国-香港 10 3,249 32,496 元 20 6,498 64,999 元 50 16,244 162,502 元 100 29,247 292,508 元 200 58,502 585,024 元 500 130,006 1,300,062 元 1,000 227,509 2,275,112 元 2,000 455,018 4,550,232 元 亚太-新加坡 10 3,155 31,554 元 20 6,309 63,115 元 50 15,773 157,792 元 100 28,399 284,030 元 200 56,806 568,067 元 500 126,238 1,262,379 元 1,000 220,915 2,209,167 元 2,000 441,829 4,418,341 元 亚太-曼谷 10 3,249 32,496 元 20 6,498 64,999 元 50 16,244 162,502 元 100 29,247 292,508 元 200 58,502 585,024 元 500 130,006 1,300,062 元 1,000 227,509 2,275,112 元 2,000 455,018 4,550,232 元 拉美-圣地亚哥 10 3,390.12 33,908.9 元 20 6,780.24 67,825.48 元 50 16,950.6 169,567.54 元 100 30,518.78 305,226.19 元 200 61,045.24 610,460.06 元 500 135,658.65 1,356,586.46 元 1,000 237,400.71 2,374,030.15 元 2,000 474,801.42 4,748,067.99 元 非洲-约翰内斯堡 10 3,155 31,554 元 20 6,309 63,115 元 50 15,773 157,792 元 100 28,399 284,030 元 200 56,806 568,067 元 500 126,238 1,262,379 元 1,000 220,915 2,209,167 元 2,000 441,829 4,418,341 元
  • 探针型产品按需套餐包-专业版价格详情 表1 专业版价格详情 区域 探针实例(个) 包1月 包1年 价格单位 华北-北京四 华东-上海一 华南-广州 西南-贵阳一 10 1,000 10,000 元 20 2,000 20,000 元 50 5,000 50,000 元 100 10,000 100,000 元 200 18,000 180,000 元 500 42,500 425,000 元 1,000 80,000 800,000 元 2,000 140,000 1,400,000 元 中国-香港 10 1,621 16,244 元 20 3,249 32,496 元 50 8,118 81,251 元 100 16,244 162,502 元 200 29,247 292,508 元 500 69,066 690,660 元 1,000 130,006 1,300,062 元 2,000 227,509 2,275,112 元 亚太-新加坡 10 1,574 15,773 元 20 3,155 31,554 元 50 7,883 78,896 元 100 15,773 157,792 元 200 28,399 284,030 元 500 67,064 670,641 元 1,000 126,238 1,262,379 元 2,000 220,915 2,209,167 元 亚太-曼谷 10 1,621 16,244 元 20 3,249 32,496 元 50 8,118 81,251 元 100 16,244 162,502 元 200 29,247 292,508 元 500 69,066 690,660 元 1,000 130,006 1,300,062 元 2,000 227,509 2,275,112 元 拉美-圣地亚哥 10 1,691.22 16,950.6 元 20 3,390.12 33,908.9 元 50 8,471.46 84,783.77 元 100 16,950.6 169,567.54 元 200 30,518.78 305,226.19 元 500 72,068.9 720,688.96 元 1,000 135,658.65 1,356,586.46 元 2,000 237,400.71 2,374,030.15 元 非洲-约翰内斯堡 10 1,574 15,773 元 20 3,155 31,554 元 50 7,883 78,896 元 100 15,773 157,792 元 200 28,399 284,030 元 500 67,064 670,641 元 1,000 126,238 1,262,379 元 2,000 220,915 2,209,167 元
  • 产品优势 非侵入式性能数据采集,无需修改业务代码即可轻松接入 APM ,数据源包括如下: Java探针:基于业界Pinpoint开源项目通过非侵入方式采集业务调用数据、服务存量数据、调用的KPI数据等应用指标。 Istio网格:集成Kubernetes平台通过非侵入方式采集业务调用数据、资源信息、调用的KPI数据等应用指标。 支持亿级调用链业务吞吐,无惧流量凶猛,为用户体验保驾护航。 AI智能阈值检测,机器学习历史基线数据产生告警,通过RCA(Root Cause Analysis)分析找到问题根因。 开放了运营、运维数据查询接口和性能指标、采集标准,支持自主开发。
  • APM权限 默认情况下,管理员创建的IAM用户没有任何权限,您需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对APM进行操作。 APM部署时通过物理区域划分,为项目级服务。授权时,“作用范围”需要选择“区域级项目”,然后在指定区域(如华北-北京1)对应的项目(cn-north-1)中设置相关权限,并且该策略仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问APM时,需要先切换至授权区域。 如表1所示,包括了APM的所有系统权限。 表1 APM系统权限 角色名称 描述 类别 APM FullAccess 应用性能管理 服务的所有执行权限。 系统策略 APM ReadOnlyAccess 应用性能管理服务的只读权限。 系统策略 APM Administrator 应用性能管理服务的所有执行权限。 系统角色 表2列出了APM常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。 表2 常用操作与系统权限的关系 操作 APM FullAccess APM ReadOnlyAccess APM Administrator 获取应用拓扑信息 √ √ √ 修改应用拓扑配置 √ x √ 删除应用拓扑配置 √ x √ 创建应用拓扑配置 √ x √ 获取慢SQL分析结果 √ √ √ 获取调用链数据 √ √ √ 更新调用链配置 √ x √ 查询应用性能管理配置 √ √ √ 添加应用性能管理配置 √ x √ 删除应用性能管理配置 √ x √ 查询ICAgent列表 √ √ √ 安装ICAgent √ x √ 获取ICAgent版本信息 √ √ √ 升级ICAgent版本 √ x √ 卸载ICAgent √ x √ 下发ICAgent事件 √ x √
  • 应用运维遇到挑战 在云时代,分布式微服务架构下应用日益丰富,用户数量爆发式增长,纷杂的应用异常问题接踵而来。传统运维模式下,多套运维系统上的各项指标无法关联分析, 运维人员需要根据运维经验逐一排查应用异常,分析定位问题效率低,维护成本高且稳定性差。 海量业务下应用运维面临以下两个方面的挑战: 大型分布式应用关系错综复杂,分析定位应用问题困难,应用运维面临如何保障应用正常、快速完成问题定位、迅速找到性能瓶颈的挑战。 应用体验差导致用户流失。运维人员不能实时感知并追踪体验差的业务,未能及时诊断应用异常,严重影响用户体验。
  • ICAgent更新说明 表3 ICAgent更新说明 ICAgent版本 更新说明 5.12.43 修复采集容器日志场景下icagent进程概率性重启问题。 5.12.42 修复rsyslog日志采集部分场景下close_wait网络连接数过多问题。 5.12.36 支持CCE场景下 AOM 可以根据应用、组件维度展示运维信息。 优化节点CPU使用率的计算方式。 5.12.35 修复部分场景日志被截断问题。 5.12.32 修复日志开关功能可能导致ICAgent进程重启的问题。 5.12.29 关闭D310芯片指标采集。 5.12.27 优化应用发现规则。 5.12.26 支持采集指定文本文件路径下的日志,不限制文件后缀名称。 5.12.23 增加容器的文件系统使用率指标。 5.12.22 日志路径配置支持通配、递归配置。
  • APM帮您解决 华为云应用性能管理服务(Application Performance Management,简称APM)是实时监控并管理云应用性能和故障的云服务,提供专业的分布式应用性能分析能力,可以帮助运维人员快速解决应用在分布式架构下的问题定位和性能瓶颈等难题,为用户体验保驾护航。 APM作为云应用诊断服务,拥有强大的分析工具,通过拓扑图、调用链、事务分析可视化地展现应用状态、调用过程、用户对应用的各种操作,快速定位问题和改善性能瓶颈。 图1 APM架构图 访问APM:通过IAM( 统一身份认证 )的委托、AK/SK鉴权可以访问APM。 数据采集:APM可以通过非侵入方式采集Java探针、Istio网格等提供的应用数据、基础资源数据、用户体验数据等多项指标。 业务实现:APM支持全链路拓扑、调用链追踪、事务分析功能。 业务拓展: AOM( 应用运维管理 )实时监控应用运维指标,APM通过拓扑、调用链等快速诊断应用性能异常。 通过APM找到性能瓶颈后,CPTS(云性能测试服务)关联分析生成性能报表。 通过智能算法学习历史指标数据,APM多维度关联分析异常指标,提取业务正常与异常时上下文数据特征,通过聚类分析找到问题根因。
共99354条