华为云用户手册

  • 计费说明 在ModelArts进行模型训练时,会产生计算资源和存储资源的累计值计费。计算资源为训练作业运行的费用。存储资源包括数据存储到OBS或SFS的费用。具体内容如表1所示。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式 计算资源 公共资源池 使用计算资源的用量。 具体费用可参见ModelArts价格详情。 按需计费 规格单价 * 计算节点个数 * 使用时长 专属资源池 专属资源池的费用已在购买时支付,模型训练时不再收费。 专属资源池的费用请参考专属资源池计费项。 - - 存储资源 对象存储OBS 用于存储模型训练的输入和输出数据。 具体费用可参见对象存储价格详情。 注意: 存储到OBS中的数据需在OBS控制台进行手动删除。如果未删除,则会按照OBS的计费规则进行持续计费。 按需计费 包年/包月 创建桶不收取费用,按实际使用的存储容量和时长收费 弹性文件服务SFS Turbo 使用专属资源池进行训练时,支持挂载多个弹性文件服务SFS Turbo。用于存储模型训练的代码及输入输出数据。 具体费用可参见弹性文件服务价格详情。 按需计费 包年/包月 按文件系统所占用的存储空间容量和使用时长收费 存储空间费用=每GB费率*存储容量*使用时长 事件通知(不开启则不计费) 订阅消息使用 消息通知 服务,在事件列表中选择特定事件,在事件发生时发送消息通知。 如果想使用消息通知,需要在创建训练作业时开启“事件通知”功能。 具体计费可见消息通知服务价格详情。 按实际用量付费 发送短信通知费用构成:短信通知条数 发送电子邮件费用构成:电子邮件+外网下行流量 发送HTTP(S)费用构成:HTTP(S)+外网下行流量
  • 计费示例 以下案例中出现的费用价格仅供参考,实际价格请参见各服务价格详情。 示例:使用公共资源池。计费项:计算资源费用 + EVS存储费用 假设用户于2023年4月1日10:00:00创建了一个Notebook实例,使用规格为CPU: 8 核 32GB、计算节点个数为1个的公共资源池和磁盘规格为5GB的运行盘(总计单价:3.407 元/小时),并于当天13:00:00删除Notebook实例。按照计算资源费用和存储费用结算,那么运行这个Notebook实例的费用计算如下: 资源费用 = 计算资源费用 + 存储费用 = 3.407 元/小时 * 1 * 3 小时 = 10.221 元 综上,运行Notebook实例的费用 = 10.221 元,根据按需计费规则抹零,最终费用为10.22元。 示例:使用专属资源池。计费项:EVS存储费用 假设用户于2023年4月1日10:00:00创建了一个Notebook实例,使用专属资源池和磁盘规格为5GB的运行盘,并于2023年4月2日10:00:00将存储到EVS中的数据删除。按照EVS存储费用结算,那么运行这个Notebook实例的费用计算如下: 存储费用 = 0.007 元/小时 * 24 小时 = 0.168 元 综上,运行Notebook实例的费用 = 0.168 元,根据按需计费规则抹零,最终费用为0.16元。
  • 计费说明 在ModelArts开发环境中运行Notebook实例时,会使用计算资源和存储资源,会产生计算资源和存储资源的累计值计费。具体内容如表1所示。 Notebook实例停止运行时,EVS还会持续计费,需及时删除才能停止EVS计费。 计算资源费用: 如果运行Notebook实例时,使用专属资源池进行模型训练和推理,计算资源不计费。 如果运行Notebook实例时,使用公共资源池进行模型训练和推理,计算资源需收费。 存储资源费用:数据存储到对象存储OBS、云硬盘EVS、弹性文件服务SFS中的计费。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式 计算资源 公共资源池 使用计算资源的用量。 具体费用可参见ModelArts价格详情。 按需计费 规格单价 * 计算节点个数 * 使用时长 专属资源池 专属资源池的费用已在购买时支付,运行Notebook实例时不再收费。 专属资源池的费用请参考专属资源池计费项。 - - 存储资源 云硬盘EVS 用于存储运行Notebook实例时产生的数据。 磁盘规格默认为5GB,从Notebook实例创建成功起,直至删除成功,每GB按照规定费用收费。 具体费用可参见云硬盘价格详情。 注意: 存储到EVS中的数据需在EVS控制台进行手动删除。如果未删除,则会按照EVS的计费规则进行持续计费。 按需计费 规格单价 * 使用时长 弹性文件服务SFS 用于存储运行Notebook实例时所需的数据。 具体费用可参见弹性文件服务价格详情。 注意: 存储到SFS中的数据需在SFS控制台进行手动删除。如果未删除,则会按照SFS的计费规则进行持续计费。 按需计费 包年/包月 按需计费:规格单价 * 购买时长 包年/包月:规格单价 * 购买时长 * 购买个数
  • 计费说明 在ModelArts数据管理模块,提供的数据集、数据标注、数据处理功能都不收费。具体如下: 数据集:在ModelArts数据管理中创建数据集时,不收费。 数据标注:在ModelArts数据管理中进行手动标注和智能标注时,不收费。 数据处理:在ModelArts数据管理中创建数据清洗、数据校验、数据选择和数据增强的数据处理任务时,不收费。 但是存储到OBS中的数据会收取费用。具体内容如表1所示。 表1 存储计费项 计费项 计费项说明 适用的计费模式 计费公式 存储资源 对象存储OBS 用于存储训练和推理的输入数据和输出结果数据。具体费用可参见对象存储价格详情。 注意: 存储到OBS中的数据需在OBS控制台进行手动删除。如果未删除,则会按照OBS的计费规则进行持续计费。 按需计费 包年/包月 创建桶不收取费用,按实际使用的存储容量和时长收费
  • 计费说明 在ModelArts自动学习和Workflow中进行模型训练和推理时,会使用计算资源和存储资源,会产生计算资源和存储资源的累计值计费。具体内容如表1所示。 计算资源费用: 如果运行自动学习作业/Workflow工作流时,使用专属资源池进行模型训练和推理,计算资源不计费。 如果运行自动学习作业/Workflow工作流时,使用公共资源池进行模型训练和推理,计算资源需收费。 存储资源费用:数据存储到对象存储OBS的费用。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式 计算资源 公共资源池 使用计算资源的用量。 具体费用可参见ModelArts价格详情。 按需计费 规格单价 * 计算节点个数 * 使用时长 专属资源池 专属资源池的费用已在购买时支付,运行自动学习作业和Workflow工作流时不再收费。 专属资源池的费用请参考专属资源池计费项。 - - 存储资源 对象存储OBS 用于存储训练和推理的输入数据和输出结果数据。 具体费用可参见对象存储价格详情。 注意: 存储到OBS中的数据需在OBS控制台进行手动删除。如果未删除,则会按照OBS的计费规则进行持续计费。 按需计费 包年/包月 创建桶不收取费用,按实际使用的存储容量和时长收费 消息通知(不开启则不计费) 消息通知服务 订阅消息使用消息通知服务,在事件列表中选择需要监控的节点/Workflow状态,在事件发生时发送消息通知。 如果想使用消息通知,需要提前在自动学习、Workflow中开启消息通知功能。 具体计费可见消息通知服务价格详情。 按实际用量付费 发送短信通知费用构成:短信通知条数 发送电子邮件费用构成:电子邮件+外网下行流量 发送HTTP(S)费用构成:HTTP(S)+外网下行流量
  • 计费周期 按需计费资源按秒计费,每一个小时整点结算一次费用(以北京时间为准),结算完毕后进入新的计费周期。 对于专属资源池:计费的起点以资源池创建成功的时间点为准,终点以资源池删除时间为准。 专属资源池从创建到启用需要一定时长,计费的起点是创建成功的时间点,而非创建时间。您可以在专属资源池详情页“基本信息”页签查看创建时间,在“事件”页签查看“事件信息”为“创建资源池管理节点成功”的“事件发生时间”,创建成功的时间点对应界面上的“事件发生时间”。 对于公共资源池:计费的起点以实例创建成功的时间点为准,终点以实例停止或删除的时间为准。 实例具体如下: 因运行自动学习作业,而创建的对应的训练作业和在线服务。 因运行Workflow工作流,而创建的对应的训练作业和在线服务。 Notebook实例 训练作业 在线服务 例如,您在8:45:30购买了一个按需计费的专属资源池,相关资源为计算资源(vCPU),然后在8:55:30将其删除,则计费周期为8:00:00 ~ 9:00:00,在8:45:30 ~ 8:55:30间产生费用,该计费周期内的计费时长为600秒。
  • 变更配置后对计费的影响 如果您在购买按需计费资源池后变更了规格配置,会产生一个新订单并开始按新配置的价格计费,旧订单自动失效。 如果您在一个小时内变更了规格配置,将会产生多条计费信息。每条计费信息的开始时间和结束时间对应不同配置在该小时内的生效时间。 例如,您在9:00:00购买了一个按需计费的专属资源池,规格为modelarts.vm.cpu.8ud(8vCPUs 16GiB),计算节点个数为2个,并在9:30:00升配增加2个节点(升配后共4个节点),那么在9:00:00 ~ 10:00:00间会产生两条计费信息。 第一条对应9:00:00 ~ 9:30:00,按照2个计算节点个数计费。 第二条对应9:30:00 ~ 10:00:00,按照4个计算节点个数计费。
  • 欠费受限 您购买的资源欠费后,会导致部分操作受限,建议您尽快续费。具体受限操作如表3所示: 表3 欠费受限操作 功能 受限操作 Workflow 订阅Workflow、模型训练、部署上线 自动学习 模型训练、部署上线 开发环境-Notebook 创建Notebook、启动Notebook 训练管理-训练作业 创建训练作业 部署上线-在线服务、边缘服务 部署在线服务、边缘服务 专属资源池 创建、冻结、解冻、删除专属资源池
  • 计费示例 假设您在2023/04/18 9:59:30购买了一个按需计费的专属资源池(规格:CPU: 8 核 32GB,计算节点个数:1),计费资源为计算资源(vCPU),然后在2023/04/18 10:45:46将其删除,则: 第一个计费周期为9:00:00 ~ 10:00:00,在9:59:30 ~ 10:00:00间产生费用,该计费周期内的计费时长为30秒。 第二个计费周期为10:00:00 ~ 11:00:00,在10:00:00 ~ 10:45:46间产生费用,该计费周期内的计费时长为2746秒。 您需要为每个计费周期付费,计费公式如表2所示。产品价格详情中标出了资源的每小时价格,您需要将每小时价格除以3600,得到每秒价格。 表2 计费公式 资源类型 计费公式 资源单价 计算资源(vCPU) 规格单价 * 计算节点个数 * 计费时长 请参见ModelArts价格详情中的“规格价格”。 上述示例配置的费用计算如下: 按需计费专属资源池费用 = 3.50 元/小时 * 1 * (( 30 + 2746 )/ 3600 )小时 = 2.70 元 本文价格仅供参考,实际计算请以ModelArts价格详情中的价格为准。
  • 到期后影响 图1描述了包年/包月资源各个阶段的状态。购买后,在计费周期内资源正常运行,此阶段为有效期;资源到期而未续费时,将陆续进入宽限期和保留期。 图1 包年/包月资源生命周期 到期预警 包年/包月资源池在到期前第7天内,系统将向用户推送到期预警消息。预警消息将通过邮件、短信和站内信的方式通知到华为云账号的创建者。 到期后影响 当您的包年/包月资源池到期未续费,首先会进入宽限期,资源状态变为“已过期”。宽限期内您可以正常访问ModelArts,但以下操作将受到限制: 变更资源池规格 退订资源池 如果您在宽限期内仍未续费包年/包月资源池,那么就会进入保留期,资源状态变为“已冻结”,您将无法对处于保留期的包年/包月资源执行任何操作。 保留期到期后,如果包年/包月资源池仍未续费,那么计算资源将被释放,数据无法恢复。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于续费的详细介绍请参见续费概述。
  • 变更配置后对计费的影响 当前包年/包月计算资源的规格不满足您的业务需要时,您可以在ModelArts控制台发起变更规格操作,变更时系统将按照如下规则为您计算变更费用: 资源升配:新配置价格高于老配置价格,此时您需要支付新老配置的差价。 资源降配:新配置价格低于老配置价格,此时华为云会将新老配置的差价退给您。 资源降配会影响ModelArts性能,通常不建议您这样操作。这里以资源升配且无任何优惠的场景为例,假设您在2023/04/08购买了一个包年/包月专属资源池(规格:CPU: 8 核 32GB,计算节点个数:1),购买时长为1个月,计划在2023/04/18变更规格增加1个计算节点。旧配置价格为1,750元/月,新配置价格为3,500元/月。计算公式如下: 升配费用 = 新配置价格 * 剩余周期 - 旧配置价格 * 剩余周期 公式中的剩余周期为周期内每个自然月的剩余天数/对应自然月的最大天数之和。本示例中,剩余周期=12(4月份剩余天数)/ 30(4月份最大天数)+ 8(5月份剩余天数)/ 31(5月份最大天数)=0.6581,代入公式可得升配费用 = 3,500 * 0.6581 - 1,750 * 0.6581 = 1151.67 元 更多信息请参见变更资源规格费用说明。
  • 计费示例 假设您在2023/03/08 15:50:04购买了一个包年/包月专属资源池(规格:CPU: 8 核 32GB,计算节点个数:1),计费资源为vCPU。购买时长为一个月,并在到期前手动续费1个月,则: 第一个计费周期为:2023/03/08 15:50:04 ~ 2023/04/08 23:59:59 第二个计费周期为:2023/04/08 23:59:59 ~ 2023/05/08 23:59:59 您需要为每个计费周期预先付费,计费公式如表2所示。 表2 计费公式 资源类型 计费公式 资源单价 计算资源 实例规格单价 * 计算节点个数 * 购买时长 请参见ModelArts价格详情中的“规格价格”。 上述示例配置的费用计算如下: 包年/包月专属资源池费用 = 1,750 * 1 * 2 = 3,500 元 此处资源规格仅举例,请以实际控制台可选规格为准,且资源单价仅供参考,实际计算请以ModelArts价格详情中的价格为准。
  • ModelArts计费模式概述 ModelArts服务提供包年/包月和按需计费两种计费模式,以满足不同场景下的用户需求。如您需要快速了解ModelArts服务不同计费模式的具体价格,请参见ModelArts价格详情。 包年/包月:一种预付费模式,即先付费再使用,按照订单的购买周期进行结算。购买周期越长,享受的折扣越大。一般适用于计算资源需求量长期稳定的成熟业务。 按需计费:一种后付费模式,即先使用再付费,按照ModelArts计算资源的实际使用时长计费,秒级计费,按小时结算。按需计费模式允许您根据实际业务需求灵活地调整资源使用,无需提前预置资源,从而降低预置过多或不足的风险。一般适用于资源需求波动的场景,可以即开即停。 表1列出了两种计费模式的区别。 表1 计费模式 计费模式 包年/包月 按需计费 付费方式 预付费 按照订单的购买周期结算。 后付费 按照云服务器实际使用时长计费。 计费周期 按订单的购买周期计费。 秒级计费,按小时结算。 适用计费项 计算资源 计算资源、云硬盘 适用资源池 专属资源池 公共资源池、专属资源池 适用功能模块 Standard自动学习、Workflow、Notebook、模型训练、模型部署 Lite Cluster Lite Server Standard自动学习、Workflow、Notebook、模型训练、模型部署 Lite Server 变更计费模式 不支持 支持变更为包年/包月计费模式。 变更计费模式 变更规格 不涉及 支持变更实例规格。 适用场景 适用于可预估资源使用周期的场景,价格比按需计费模式更优惠。对于长期使用者,推荐该方式。 适用于计算资源需求波动的场景,可以随时开通,随时删除。 父主题: 计费模式
  • 为什么项目删除完了,仍然还在计费? 如果ModelArts的自动学习项目、Notebook实例、训练作业或在线服务,都已经处于停止状态,即总览页面没看到收费项目,仍然发现账号还在计费。 有以下几种可能情况: 因为您在使用ModelArts过程中,将数据上传至OBS进行存储,OBS会根据实际存储的数据进行计费。建议前往OBS管理控制台,清理您不再使用的数据、文件夹以及OBS桶,避免产生不必要的费用。 您在创建Notebook时,选择了云硬盘EVS存储,该存储会单独收费,Notebook停止后,EVS还在计费,请及时删除该Notebook实例。 您在体验CodeLab时,切换规格为付费的规格时会收费。请前往CodeLab界面单击右上角停止Notebook实例。 父主题: 计费FAQ
  • ModelArts Standard自动学习所创建项目一直在扣费,如何停止计费? 对于使用公共资源池创建的自动学习作业: 登录ModelArts控制台,在自动学习作业列表中,删除正在扣费的自动学习作业。在训练作业列表中,停止因运行自动学习作业而创建的训练作业。在“在线服务”列表中,停止因运行自动学习作业而创建的服务。操作完成后,ModelArts服务即停止计费。 登录OBS控制台,进入自己创建的OBS桶中,删除存储在OBS中的数据。操作完成后,OBS服务即停止计费。 对于使用专属资源池创建的自动学习作业: 登录ModelArts控制台,在自动学习作业列表中,删除正在扣费的自动学习作业。在训练作业列表中,停止因运行自动学习作业而创建的训练作业。在“在线服务”列表中,停止因运行自动学习作业而创建的服务。在资源池列表中,删除运行自动学习作业的专属资源池。操作完成后,ModelArts服务即停止计费。 登录OBS控制台,进入自己创建的OBS桶中,删除存储在OBS中的数据。操作完成后,OBS服务即停止计费。 父主题: 计费FAQ
  • 部署后的AI应用是如何收费的? ModelArts支持将AI应用按照业务需求部署为服务。训练类型不同,部署后的计费方式不同。 将AI应用部署为服务时,根据数据集大小评估模型的计算节点个数,根据实际编码情况选择计算模式。 具体计费方式请参见ModelArts产品价格详情。部署AI应用可选择按需计费,也可根据业务类型和需求购买套餐包。 为避免出现因购买套餐和使用套餐不一致产生多余计费的问题出现, 建议您注意核对在使用的套餐包资源规格是否和购买的套餐包资源规格一致。 父主题: 计费FAQ
  • 举报资产 当用户查看或使用资产时,发现存在违法违规及不良信息或者涉及知识产权侵权的情况,可以根据需要进行举报。 举报功能的端到端流程如下图。 登录ROMA Exchange后,进入资产详情页。 在资产详情页的右下角单击“我要举报”。 在举报投诉页面填写举报信息,然后单击“确定”。 举报投诉提交成功后,系统提示如下信息。如果是违法违规,需要等待管理员处理。如果是知识产权相关,则需要等待资产提供方和管理员的处理。处理结果可以通过邮件或站内消息管理查看。 查看举报投诉结果。已举报失败为例,可以收到邮件通知和站内信通知。如果举报成功,则不光收到邮件通知和站内信,资产也会同步下架。 父主题: 资产订阅者指导
  • 响应消息 表3 参数说明 名称 类型 说明 total Integer 符合条件的API总数 size Integer 本次查询返回的列表长度 apis 字典数据类型 本次查询到的API列表 表4 apis参数说明 参数 类型 说明 id String API编号 name String API名称 group_id String API所属分组的编号 group_name String API所属分组的名称 status Integer API的状态 type Integer API类型 version String API版本 req_protocol String API访问协议 req_method String API请求方式 req_uri String API访问地址 auth_type String API认证方式 auth_opt 字段数据类型 API认证方式参数 authorizer_id String 前端自定义认证对象的ID match_mode String API匹配方式 register_time Timestamp API创建时间 update_time Timestamp API修改时间 remark String API描述 bakend_type String 后端类型 run_env_name String 发布的环境名 run_env_id String 发布的环境id publish_id String 发布记录的编号 arrange_necessary Integer 是否需要编排 cors Bool 是否支持跨域访问 tag String 服务名称标签,待废弃字段 tags []String 标签 表5 auth_opt参数说明 参数 类型 说明 app_code_auth_type String AppCode简易认证类型 响应消息样例: { "total": 3, "size": 3, "apis": [ { "name": "test", "type": 1, "version": "V0.0.1", "req_protocol": "HTTPS", "req_method": "GET", "req_uri": "/test/{project_id}", "auth_type": "APP", "auth_opt": { "app_code_auth_type": "DISABLE" }, "tags": ["APIG-SN-test", "test"], "cors": false, "match_mode": "NORMAL", "backend_type": "HTTP", "group_id": "f71f69876f90456ca6fd18ed012fdc11", "id": "81efcfd94b8747a0b21e8c04144a4e8c", "status": 1, "arrange_necessary": 2, "register_time": "2018-08-15T03:41:11Z", "update_time": "2018-08-15T03:41:11Z", "group_name": "group0002" }, { "name": "bbbbb", "type": 1, "version": "0.0.1", "req_protocol": "HTTPS", "req_method": "GET", "req_uri": "/test002", "auth_type": "APP", "auth_opt": { "app_code_auth_type": "DISABLE" }, "tags": ["APIG-SN-test", "test"], "cors": false, "match_mode": "NORMAL", "backend_type": "MOCK", "remark": "aaa", "group_id": "70f1b578da9b4dfe889b4c33d1b995c2", "id": "91c26288acea4448be205265d77dae22", "status": 1, "arrange_necessary": 2, "register_time": "2018-07-27T11:54:24Z", "update_time": "2018-07-27T11:54:24Z", "group_name": "test001", "run_env_name": "RELEASE", "run_env_id": "DEFAULT_ENVIRONMENT_RELEASE_ID", "publish_id": "a6e06a00c382436eb524fa2dd343cb6d" }, { "name": "aaa", "type": 1, "version": "0.0.1", "req_protocol": "HTTPS", "req_method": "GET", "req_uri": "/test001", "auth_type": "APP", "auth_opt": { "app_code_auth_type": "DISABLE" }, "tags": ["APIG-SN-test", "test"], "cors": false, "match_mode": "NORMAL", "backend_type": "MOCK", "remark": "aaa", "group_id": "70f1b578da9b4dfe889b4c33d1b995c2", "id": "aebacac6095942b4b2dd2b209bb7b9bc", "status": 1, "arrange_necessary": 2, "register_time": "2018-07-27T11:23:34Z", "update_time": "2018-07-27T11:23:34Z", "group_name": "test001", "run_env_name": "RELEASE", "run_env_id": "DEFAULT_ENVIRONMENT_RELEASE_ID", "publish_id": "1bc8b2b741a04bd4af3ef9d7cd003104" } ] }
  • URI HTTP/HTTPS请求方法以及URI如下表所示。 表1 HTTP/HTTPS请求方法以及URI 请求方法 URI GET /v1/{project_id}/apigw/instances/{instance_id}/apis[?page_size, page_no, id, name, group_id, req_protocol, req_method, req_uri, auth_type, env_id, type,status, tags] 可以在URI后面用‘?’和‘&’添加不同的查询条件组合。 查询条件可为以下字段以及对应的值:id、name、group_id、req_protocol、req_method、req_uri、auth_type、env_id、type、status、tags、page_size、page_no。
  • 请求消息 表2 参数说明 名称 是否必选 类型 说明 project_id 是 String 项目ID。可从控制台“我的凭证”中获取region下项目ID,管理员权限可查询。 instance_id 是 String 实例ID,可从API网关控制台的专享版实例信息中获取。 id 否 String API的编号 name 否 String API的名称 group_id 否 String API所属分组编号 req_protocol 否 String 请求协议 req_method 否 String 请求方法 req_uri 否 String 请求路径 auth_type 否 String 授权类型 env_id 否 String 发布的环境编号 type 否 Integer API类型 tags 否 String 标签 page_size 否 Integer 每页显示的条数,默认值:20,最大值500。page_size值为0时,返回所有API。 page_no 否 Integer 页码,默认值:1 precise_search 否 String 指定需要精确匹配查找的参数名称,目前仅支持name、req_uri
  • 短语搜索 短语搜索用于准确匹配目标短语,例如搜索语句abc def,不区分先后顺序,将匹配所有同时包含abc和def的日志。短语搜索和关键词搜索的区别请参考表2。 短语搜索:在关键词搜索语法的基础上实现,短语搜索能够区分关键词的顺序,用于精准匹配目标短语,搜索结果更加精确。短语搜索适用于英文短语、中文短语的搜索,不支持模糊搜索。 关键词搜索:关键词搜索是基于分词实现,通过分词符先将搜索内容拆分为多个关键词,然后匹配日志。关键词搜索不会区分多个关键词在日志中出现的顺序,因此只要日志中按照搜索的与或非逻辑能命中关键词,该日志就会被搜索到。 表2 搜索区别 搜索方式 短语搜索 关键词搜索 搜索区别 区分关键词的顺序,用于精准匹配目标短语,搜索结果更加精确。 不区分关键词的顺序,按照搜索逻辑命中关键词即可。 举例说明 假设您的日志流中存在2条原始日志,如下: 原始日志1:this service is lts 原始日志2:lts is service 短语搜索:#"is lts",会命中1条日志。 关键词搜索:is lts,会命中2条日志。 短语搜索:#"lts is",会命中1条日志。 关键词搜索:lts is,会命中2条日志。 表3 搜索方式 搜索方式 说明 全文搜索 #"abc def" content:#"abc def" 说明: content为日志原文对应的内置字段,#"abc def"等同于content:#"abc def",默认匹配日志原文的内容。 字段搜索 key:#"abc def" 说明: value参数不可为空。 字段搜索和not运算符配合使用时,还会匹配到不包含该字段的日志。 短语搜索不支持搭配模糊搜索。 短语搜索中的星号(*)和问号(?)会被视为普通字符,因此短语搜索不支持搭配模糊搜索,可以用来搜索日志中的星号(*)和问号(?)。 短语搜索不支持对分词符进行搜索。 例如搜索语句#"var/log",其中 / 为分词符,搜索语句等同于#"var log",会搜索包含目标短语var log的日志。同理,搜索语句#"var:log"、#"var;log"等搜索的也是包含目标短语var log的日志。 中文搜索推荐采用短语搜索。 由于中文默认采用的是一元分词,每个汉字单独分词,搜索时会匹配同时包含搜索语句中每一个汉字的日志,本身便具有模糊搜索的特性,当需要更加精确的结果时,推荐采用短语搜索。
  • 短语搜索 短语搜索用于准确匹配目标短语,例如搜索语句#"abc def",区分先后顺序,将匹配所有同时包含abc、def,且abc位于def前面的日志。短语搜索和关键词搜索的区别请参考表2。 短语搜索:在关键词搜索语法的基础上实现,短语搜索能够区分关键词的顺序,用于精准匹配目标短语,搜索结果更加精确。短语搜索适用于英文短语、中文短语的搜索,不支持模糊搜索。 关键词搜索:关键词搜索是基于分词实现,通过分词符先将搜索内容拆分为多个关键词,然后匹配日志。关键词搜索不会区分多个关键词在日志中出现的顺序,因此只要日志中按照搜索的与或非逻辑能命中关键词,该日志就会被搜索到。 表2 搜索区别 搜索方式 说明 示例 短语搜索 区分关键词的顺序,用于精准匹配目标短语,搜索结果更加精确。 假设您的日志流中存在两条原始日志,如下: 原始日志1:this service is lts 原始日志2:lts is service 则搜索:#"is lts",会命中1条日志;搜索:#"lts is",会命中1条日志。 关键词搜索 不区分关键词的顺序,按照搜索逻辑命中关键词即可。 假设您的日志流中存在两条原始日志,如下: 原始日志1:this service is lts 原始日志2:lts is service 则搜索:is lts,会命中2条日志;搜索:lts is,会命中2条日志。 使用限制如下: 短语搜索不支持搭配模糊搜索。 短语搜索中的星号(*)和问号(?)会被视为普通字符,因此短语搜索不支持搭配模糊搜索,可以用来搜索日志中的星号(*)和问号(?)。 短语搜索不支持对分词符进行搜索。 例如搜索语句#"var/log",其中 / 为分词符,搜索语句等同于#"var log",会搜索包含目标短语var log的日志。同理,搜索语句#"var:log"、#"var;log"等搜索的也是包含目标短语var log的日志。 中文搜索推荐采用短语搜索。 由于中文默认采用的是一元分词,每个汉字单独分词,搜索时会匹配同时包含搜索语句中每一个汉字的日志,本身便具有模糊搜索的特性,当需要更加精确的结果时,推荐采用短语搜索。
  • 配置超额采集 当日志超过每月免费赠送的额度(500M)时,超过的部分将按需收费。如果每月免费赠送的额度已经可以满足您的使用需求,超过后希望暂停日志收集,可以在配置中心进行设置。 该开关默认为开启状态,开启后表示当日志超过免费赠送的额度(500M)时,继续采集日志,超过的部分按需收费。 云日志 服务的计费依据为日志使用量,包括日志读写、日志索引和日志存储。超过免费额度后,如果关闭日志采集开关,将无法再进行日志读写和索引,同时也不再产生日志读写和索引费用。关闭日志采集开关后,超额部分的日志继续存储在LTS,LTS收取日志存储费用,系统将根据配置的日志存储时间老化日志,日志老化后将不再产生任何费用。 云日志服务与 应用运维管理 的日志采集开关为同步状态,即如果您在应用运维管理服务关闭了“超额继续采集日志”开关,则云日志服务的开关也同步关闭。 登录云日志服务控制台。 左侧导航选择“配置中心”,进入“配额设置”页面。 选择关闭“超额继续采集日志”。 关闭后表示当日志超过每月免费赠送的额度(500M)时,将暂停采集日志。支持在日志总览页查看当前资源使用情况,详情请参考查看日志管理。
  • 自定义日志时间 开启自定义日志时间开关,参考表10设置参数。 若时间格式填写错误或指定字段不存在,将使用日志被采集时间作为日志时间。 对结构化解析进行字段名称修改、字段删除、字段类型修改等操作,都需要重新校验时间字段。 表10 参数配置表 参数 说明 示例 时间字段key名称 已提取字段的名称。单击下拉框选择已提取的字段,该字段为string或long类型。 test 字段value 已提取的字段value,选择字段key后,将自动填充。 说明: 配置的字段value必须是当前时间前后24小时内的时间。 2023-07-19 12:12:00 时间格式 请参考常见日志时间格式。 yyyy-MM-dd HH:mm:ss 操作 单击校验图标,提示“时间格式和字段value匹配成功”则表示校验成功。 -
  • 多行-完全正则 适用任意格式的多行日志,使用正则表达式提取字段。 选择多行-完全正则。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例。 从已有日志中选择:单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,单击“确定”。通过选择不同时间段筛选日志。 从剪切板中粘贴:单击“从剪切板中粘贴”,可直接自动将您剪切的日志内容复制到示例日志框中。 在“首行正则表达式”下方支持自动生成或手动输入正则表达式。首行正则表达式需要匹配首行完整内容,注意并非首行的开头内容。 “首行正则表达式”用于识别多行日志的行首,例如以下日志示例: 2024-10-11 10:59:07.000 a.log:1 level:warn no.1 log 2024-10-11 10:59:17.000 a.log:2 level:warn no.2 log 完整的多行是: 2024-10-11 10:59:07.000 a.log:1 level:warn no.1 log 首行则是: 2024-10-11 10:59:07.000 a.log:1 level:warn 首行正则示例:^(\d+-\d+-\d+\s+\d+:\d+:\d+\.\d+),由于每个首行的日期是唯一的,因此可以根据日期来生成首行正则。 在“提取正则表达式”下方输入要提取日志的正则表达式,单击“验证”,在提取结果下方查看结果。 或者单击“正则表达式自动生成”,在新打开的页面根据日志样例提取字段,输入key值,单击“确定”即可自动生成正则表达式,设置完成后,单击“确定”。 提取结果显示的是“提取正则表达式”执行的结果,而不是“首行正则表达式”执行的结果,“首行正则表达式”执行的结果需要到目标日志流查看。 如果“首行正则表达式”手动输入的正则表达式有误,则会导致无法查看上报的日志流数据。 图14 设置正则表达式 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 图15 日志过滤规则 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value。所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。 单击“添加”,填写Key值和过滤规则(正则表达式)。Key值为日志字段名称,多条过滤规则之间关系是“或”逻辑。例如采集日志源文件中包含hello的日志,可配置采集规则为.*hello.* 单击操作列的可以进行规则校验,输入字段值,单击“校验”,提示校验成功。 图16 校验 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value。所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。 单击“添加”,填写Key值和过滤规则(正则表达式)。Key值为日志字段名称,多条过滤规则之间关系是“或”逻辑。例如不采集日志源文件中包含test的日志,可配置采集规则为.*test.* 单击操作列的可以进行规则校验,输入字段值,单击“校验”,提示校验成功。 上传原始日志。 打开上传原始日志开关后,原始日志将作为content字段的值上传到日志服务。 上传解析失败日志。 打开上传解析失败日志开关后,原始日志将作为_content_parse_fail_字段的值上传到日志服务。 自定义日志时间。 开启后可指定某一字段作为日志时间,或关闭此项使用日志被采集时间作为日志时间。
  • 组合解析 适用于多格式嵌套的日志(例如:分隔符+JSON),根据语法自定义配置解析规则。 选择组合解析。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例,在插件配置下方输入配置内容。 您可以根据日志内容参考以下插件语法自定义设置: processor_regex 表1 正则提取 参数 类型 说明 source_key string 原始字段名。 regex string 正则表达式()中为提取字段。 keys string 为提取的内容指定字段名。 keep_source boolean 是否保留原始字段。 keep_source_if_parse boolean 解析错误是否保留原始字段。 processor_split_string 表2 分隔符解析 参数 类型 说明 source_key string 原始字段名。 split_sep string 分隔符字符串。 keys string 为提取的内容指定字段名。 keep_source boolean 被解析后的日志中是否保留原始字段。 split_type char/special_char/string 分隔类型,支持char-单字符、special_char-不可见字符、string-字符串。 keep_source_if_parse_error boolean 解析错误是否保留原始字段。 processor_split_key_value 表3 键值对分割 参数 类型 说明 source_key string 原始字段名。 delimiter string 键值对之间的分隔符,默认值为制表符\t。 separator string 单个键值对中键与值之间的分隔符,默认值为半角冒号(:)。 keep_source boolean 被解析后的日志中是否保留原始字段。 processor_add_fields 表4 添加字段 参数 类型 说明 fields json/object 待添加的字段名和字段值。键值对格式,支持添加多个。 processor_drop 表5 丢弃字段 参数 类型 说明 drop_keys string 丢弃的字段列表。 processor_rename 表6 重命名字段 参数 类型 说明 source_keys string 待重命名的原始字段。 destkeys string 重命名后的字段。 processor_json 表7 json展开提取 参数 类型 说明 source_key string 原始字段名。 keep_source string 被解析后的日志中是否保留原始字段。 expand_depth int json展开的深度。默认值为0,表示不限制。1表示当前层级,以此类推。 expand_connector string json展开时的连接符,默认值为下划线(_)。 prefix string json展开时,对字段名附加的前缀。 keep_source_if_parse_error boolean 解析错误是否保留原始字段。 processor_filter_regex 表8 过滤器 参数 类型 说明 include json/object key为日志字段,value为匹配的正则表达式。 exclude json/object key为日志字段,value为匹配的正则表达式。 processor_gotime 表9 提取时间 参数 类型 说明 source_key string 原始字段名。 source_format string 原始时间的格式。 source_location int 原始时间的时区。参数值为空时,表示logtail所在主机或容器的时区。 dest_key string 解析后的目标字段。 dest_format string 解析后的时间格式。 dest_location int 解析后的时区。参数值为空时,表示本机时区。 set_time boolean 是否将解析后的时间设置为日志时间。 keep_source boolean 被解析后的日志中是否保留原始字段。 参考示例: [ { "type": "processor_regex", "detail": { "source_key": "content", "regex": "*", "keys": [ "key1", "key2" ], "multi_line_regex": "*", "keep_source": true, "keep_source_if_parse_error": true } }, { "type": "processor_split_string", "detail": { "split_sep": ".", "split_type": ".", "split_keys": [ "key1", "key2" ], "source_key": "context", "keep_source": true, "keep_source_if_parse_error": true } }, { "type": "processor_add_fields", "detail": { "fields": [ { "key1": "value1" }, { "key2": "value2" } ] } }, { "type": "processor_drop", "detail": { "drop_keys": [ "key1", "key2" ] } }, { "type": "processor_rename", "detail": { "source_key": [ "skey1", "skey2" ], "dest_keys": [ "dkey1", "dkey2" ] } }, { "type": "processor_json", "detail": { "source_key": "context", "expand_depth": 4, "expand_connector": "_", "prefix": "prefix", "keep_source": true, "keep_source_if_parse_error": true } }, { "type": "processor_gotime", "detail": { "source_key": "skey", "source_format": "ydm", "source_location": 8, "dest_key": "dkey", "dest_format": "ydm", "dest_location": 8, "set_time": true, "keep_source": true, "keep_source_if_parse_error": true } }, { "type": "processor_filter_regex", "detail": { "include": { "ikey1": "*", "ikey2": "*" }, "exclude": { "ekey1": "*", "ekey1": "*" } } } ]
  • 分隔符 使用分隔符(例如:逗号、空格或字符)提取字段。 选择分隔符。 根据原始日志内容选择分隔符,或自定义其他需要的特殊字符作为分隔符。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例,单击“验证”,在提取结果下方查看结果。 从已有日志中选择:单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,单击“确定”。通过选择不同时间段筛选日志。 从剪切板中粘贴:单击“从剪切板中粘贴”,可直接自动将您剪切的日志内容复制到示例日志框中。 图8 分隔符 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 图9 日志过滤规则 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value。所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。 单击“添加”,填写Key值和过滤规则(正则表达式)。Key值为日志字段名称,多条过滤规则之间关系是“或”逻辑。例如采集日志源文件中包含hello的日志,可配置采集规则为.*hello.* 单击操作列的可以进行规则校验,输入字段值,单击“校验”,提示校验成功。 图10 校验 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value。所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。 单击“添加”,填写Key值和过滤规则(正则表达式)。Key值为日志字段名称,多条过滤规则之间关系是“或”逻辑。例如不采集日志源文件中包含test的日志,可配置采集规则为.*test.* 单击操作列的可以进行规则校验,输入字段值,单击“校验”,提示校验成功。 上传原始日志。 打开上传原始日志开关后,原始日志将作为content字段的值上传到日志服务。 上传解析失败日志。 打开上传解析失败日志开关后,原始日志将作为_content_parse_fail_字段的值上传到日志服务。 自定义日志时间。 开启后可指定某一字段作为日志时间,或关闭此项使用日志被采集时间作为日志时间。
  • 单行-完全正则 适用任意格式的单行日志,使用正则表达式提取字段。 选择单行-完全正则。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例。 从已有日志中选择:单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,单击“确定”。通过选择不同时间段筛选日志。 从剪切板中粘贴:单击“从剪切板中粘贴”,可直接自动将您剪切的日志内容复制到示例日志框中。 在“提取正则表达式”下方输入要提取日志的正则表达式,单击“验证”,在提取结果下方查看结果。 或者单击“正则表达式自动生成”,在新打开的页面根据日志样例提取字段,输入key值,单击“确定”即可自动生成正则表达式,设置完成后,单击“确定”。 图11 提取正则表达式 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 图12 日志过滤规则 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value。所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。 单击“添加”,填写Key值和过滤规则(正则表达式)。Key值为日志字段名称,多条过滤规则之间关系是“或”逻辑。例如采集日志源文件中包含hello的日志,可配置采集规则为.*hello.* 单击操作列的可以进行规则校验,输入字段值,单击“校验”,提示校验成功。 图13 校验 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value。所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。 单击“添加”,填写Key值和过滤规则(正则表达式)。Key值为日志字段名称,多条过滤规则之间关系是“或”逻辑。例如不采集日志源文件中包含test的日志,可配置采集规则为.*test.* 单击操作列的可以进行规则校验,输入字段值,单击“校验”,提示校验成功。 上传原始日志。 打开上传原始日志开关后,原始日志将作为content字段的值上传到日志服务。 上传解析失败日志。 打开上传解析失败日志开关后,原始日志将作为_content_parse_fail_字段的值上传到日志服务。 自定义日志时间。 开启后可指定某一字段作为日志时间,或关闭此项使用日志被采集时间作为日志时间。
  • 功能优势 基于日志文件,无侵入式采集日志。您无需修改应用程序代码,且采集日志不会影响您的应用程序运行。 稳定处理日志采集过程中的各种异常。当遇到网络异常、服务端异常等问题时会采用主动重试、本地缓存数据等措施保障数据安全。 基于日志服务的集中管理能力。安装ICAgent后,只需要在日志服务上配置主机组、ICAgent采集配置等信息即可。 完善的自我保护机制。为保证运行在服务器上的ICAgent,不会明显影响您服务器上其他服务的性能,ICAgent在CPU、内存及网络使用方面都做了严格的限制和保护机制。
  • 多行-全文日志 采集的日志中包含像java异常的日志,如果您希望多行异常的日志显示为一条日志,正常的日志则每一行都显示为一条单独的日志数据,则选择多行日志,方便您查看日志并且定位问题。 选择多行-全文日志。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例。 从已有日志中选择:单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,单击“确定”。通过选择不同时间段筛选日志。 从剪切板中粘贴:单击“从剪切板中粘贴”,可直接自动将您剪切的日志内容复制到示例日志框中。 在“首行正则表达式”下方支持自动生成或手动输入正则表达式。首行正则表达式需要匹配首行完整内容,注意并非首行的开头内容。 图3 首行正则表达式 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 图4 日志过滤规则 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value。所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。 单击“添加”,填写Key值和过滤规则(正则表达式)。单行/多行全文模式下,默认使用content作为全文的键{key}名,多条过滤规则之间关系是“或”逻辑。例如采集日志源文件中包含hello的日志,可配置采集规则为.*hello.* 单击操作列的可以进行规则校验,输入字段值,单击“校验”,提示校验成功。 图5 校验 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value。所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。 单击“添加”,填写Key值和过滤规则(正则表达式)。单行/多行全文模式下,默认使用content作为全文的键{key}名,多条过滤规则之间关系是“或”逻辑。例如不采集日志源文件中包含test的日志,可配置采集规则为.*test.* 单击操作列的可以进行规则校验,输入字段值,单击“校验”,提示校验成功。
共100000条