云服务器内容精选

  • 数据过滤 算子简介 名称:数据过滤 功能说明:根据设置的条件过滤数据,满足条件的数据则输出,不满足条件的数据将被丢弃。 约束:下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明:算子名称,对算子进行个性化的命名,以辅助增加可读性。支持中文、英文、数字、中划线、下划线,长度小于等于64个字符。 类型:STRING 必选:否 约束:需要符合正则表达式: ^[\u4E00-\u9FA5A-Za-z0-9_-]{1,64}$ 条件关系: 配置项英文名:conditionRelationship 说明:条件关系,用于指定conditions下的各个条件之间的关系,可以是 与 、 或。 类型:STRING 必选:否,默认为 AND 约束:仅可填写 AND 或 OR 过滤条件: 配置项英文名:conditions 说明:过滤条件,可以配置多个,多个过滤条件之间的关系由 conditionRelationship指定。 必选:是 子配置项:conditions包括如下子配置项:属性、计算符号、数值。 属性: 配置项英文名:property 说明:属性, 以JSON Path格式来指定属性。 类型:STRING 必选:是 约束:需要符合正则表达式: ^.{1,1000}$ 计算符号: 配置项英文名:symbol 说明:计算符号, 如大于、小于、等于等,目前支持:MORE_THAN、MORE_THAN_EQUAL、LESS_THAN、LESS_THAN_EQUAL、EQUAL、NOT_EQUAL 类型:STRING 必选:是 约束:必须是MORE_THAN、MORE_THAN_EQUAL、LESS_THAN、LESS_THAN_EQUAL、EQUAL、NOT_EQUAL中的一个。 数值: 配置项英文名:value 说明:数值, 即条件的右值,如条件:大于100中的100即为value的值。 类型:STRING 必选:是 约束:需要符合正则表达式: ^.{0,50}$ 高级配置项 并行数: 配置项英文名:parallelism 说明:并行数,指定算子执行时的并行任务个数。对于性能要求越高的算子,可以设置较高的并行数,但是占用资源越多。如果此参数不设置,那么作业运行时本算子使用作业的并行数设置。 类型:INTEGER 必选:否 约束:最小值1, 最大值 1024。 父主题: 转换类算子
  • 操作步骤 访问“IoT数据分析”服务产品页,点击“立即使用”进入"IoT数据分析"服务控制台。 在左侧导航栏选择“数据管理”,进入数据管道页面,在“管理列表”点击“创建数据管道”。 弹出“创建数据管道”对话框,您可自行填写“作业名称”(注意:同一用户所创建的作业名称不可重复)、“描述”,并选择数据源(若列表为空,请跳转到“创建数据源”链接创建数据源,详见数据源章节),如下图所示。 使用IoTDA数据源时,系统会自动读取该数据源的相关信息及相关的产品信息,生成作业执行流程,如图所示。 上图所示示例中,所选择的IoTDA数据源包含两种设备:烟感设备与水表,系统自动生成了两个处理分支,分别用于处理这两种设备上报的数据。 这两个分支各自以一个“产品过滤”算子作为起始点,分别过滤出这两种设备的数据,以便于后续处理流程仅处理某一种产品的数据,如图所示。 系统还自动根据这两种设备的产品信息(该产品信息以安全的方式从IoTDA获取),生成了默认的输出配置。 请用户自行选择存储组,并填写存储名称,补齐配置内容即可保存,如图所示。
  • 资产(Asset) 资产是指物理世界中需要被管理的、具有唯一标识的事物或业务对象,如一个资产可以对应一个物理设备(如机床),也可以对应一组设备或对象(如生产线、车间)。在资产建模时,必须利用资产模型来创建资产,资产中的属性、分析任务均与其所属资产模型保持一致。 例子,如下图所示为现实世界中一个工厂的示意图 该工厂例子中有工厂、机械臂、铣床、卸货机械手四类物理对象,因此需构建Factory、MechanicalArm、MillingMachine、Unloadingmanipulator四个资产模型,然后利用各模型创建相应资产,并根据现实世界中资产间拓扑关系建立数字世界中资产树拓扑关系,得到如下图所示的数字资产模型
  • 分析任务(Analysis) 分析任务是指对属性数据进行计算分析的任务,分析任务类型有3种,包括转换计算、聚合计算、流计算。 转换计算类分析任务是指,当参数所引用的属性值发生变化时,对单个或多个属性值进行常规数学表达式计算,表达式中不能使用时间聚合公式。 例子:(a+b)/2; 聚合计算类分析任务是指,对资产的属性值进行周期性的时间聚合计算或空间聚合计算,表达式中可以使用时间聚合算子,其中空间聚合计算是指多个资产属性时间聚合计算子表达式再进行联合预算(此时各属性时间聚合计算的时间范围和周期相同),如下例子所示。 例子:StateTime(machineState, 100) + StateTime(machineState, 101),时间范围: 15min, 周期: 15min; 流计算类分析任务是指,以资产模型中的属性作为输入、调用IoT数据分析服务的实时分析作业进行计算、输出结果返回到资产模型的属性值,数据流示意图如下。
  • 使用DIS数据源 点击导航栏上的“数据管理”标签,进入数据管道页面,在“管理列表”部分有一按钮“创建数据管道”,如图所示: 点击“创建数据管道”按钮,弹出“创建数据管道”对话框,用户可自行填写“作业名称”(注意:同一用户所创建的作业名称不可重复)、“描述”,并选择数据源(若列表为空,请跳转到“创建数据源”链接创建数据源,详见数据源章节),如下图所示: 目前可支持的数据源两种类型:IoTDA数据源、DIS数据源。 使用DIS数据源时,需要用户自行配置数据源及数据处理流程,如图所示: 且不再需要“产品过滤”算子: 父主题: 创建数据管道
  • DIS输出 算子简介 名称: DIS输出,IoT数据分析服务仅在华为云部署形态支持DIS数据源 功能说明: 数据输出到DIS云服务。 约束:下游不允许接任何算子。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明: 算子名称,对算子进行个性化的命名,以辅助增加可读性。支持中文、英文、数字、中划线、下划线,长度小于等于64个字符。 类型: STRING 必选: 否 约束: 需要符合正则表达式: ^[\u4E00-\u9FA5A-Za-z0-9_-]{1,64}$ 数据源ID: 配置项英文名:datasSourceId 说明: DIS数据源ID,此数据源必须在本服务被授权访问。 数据源ID可以通过数据源接口: /v1/${project_id}/datasources?type=DIS获取。 类型: STRING 必选: 是 约束: 需要符合正则表达式: ^[a-zA-Z0-9][\w_-]{1,64}$ 高级配置项 并行数: 配置项英文名:parallelism 说明: 并行数,指定算子执行时的并行任务个数。对于性能要求越高的算子,可以设置较高的并行数,但是占用资源越多。如果此参数不设置,那么作业运行时本算子使用作业的并行数设置。 类型: INTEGER 必选: 否 约束: 最小值1, 最大值 1024。 分区策略: 配置项英文名:partitioner 说明: 分区策略,用于将数据有序地按分区策略写入DIS。 类型: STRING 必选: 否 约束: 需要符合正则表达式:^[a-z_A-Z]\w{0,254}$。 父主题: 输出类算子
  • 数据模板 资产数据输入 数据模板 字段名 字段说明 是否必填 { "type": "FunctionCall", "message": { "projectId": "080dd91ecc802xxxxxx01be5f9d68d", "jobId": "J_79519506820943xxx", "context": { "assetId": "assetId01", "analysisId": "analysisId01" }, "input": { "integer": "", "double": "", "string": "", "object": { "a": "", "b": "" } }, "timestamp": 1624440752632 }, "msgVersion": "1.0" } type 数据类型,必须模板默认值,用户不能修改 是 message 消息体,必须模板默认值,用户不能修改 是 projectId 租户id,必须模板默认值,用户不能修改 是 jobId 当前实时分析任务id,必须模板默认值,用户不能修改 是 context 资产信息,必须模板默认值,用户不能修改 是 input 输入数据,必须包含算子配置的“参数名称”。例如input中包含“integer”字段。 数据支持integer、double、string、object(josn)类型 是 timestamp 时间戳字段,Long类型,用户可自定义数值。 是 msgVersion 消息版本,必须模板默认值,用户不能修改 是 管道数据输入 数据模板 字段名 字段说明 是否必填 { "header": { "projectId": "080dd91ecc8026bxxxxx01be5f9d68d", "dataSourceId": "", "pipelineId": "J_79519506820943xxx", "rtaOutputName": "output01" }, "body": { "eventTime": "1624442214553", "data": { "integer": "", "double": "", "string": "", "object": { "a": "", "b": "" } } } } header 消息头,必须模板默认值,用户不能修改。 是 projectId 租户id,必须模板默认值,用户不能修改。 是 dataSourceId 数据源id,必须模板默认值,用户不能修改。 是 pipelineId 管道任务id,必须模板默认值,用户不能修改。 是 rtaOutputName RTA 的数据名称,必须模板默认值,用户不能修改。 是 body 输入数据,必须包含算子配置的“参数名称”。例如input中包含“integer”字段。 是 eventTime 时间戳字段,Long类型,用户可自定义数值。 是 data 管道输出字段集合,数据支持integer、double、string、object(josn)类型。用户可自定义data内部字段名和值。 是 资产数据输入(旧) 数据模板 字段名 字段说明 是否必填 { "type": "MeasPointValue", "message": { "projectId": "092b845deb00dxxxxxx0181be20fa1", "viewId": "trace_test", "viewName": "", "assetId": "", "assetName": "", "assetCategory": "", "measurePointId": "", "measurePointName": "", "measurePointCategory": "", "valueType": "", "value": "", "eventTime": "20210623T181127+0800" }, "msgVersion": "1.0" } type 数据类型,必须模板默认值,用户不能修改 是 message 消息体,必须模板默认值,用户不能修改 是 projectId 租户id,必须模板默认值,用户不能修改 是 viewId 视图id,必须模板默认值,用户不能修改 是 viewName 视图名称 否 assetId 资产id 否 assetName 资产名称 否 assetCategory 资产目录 否 measurePointId 测点id 否 measurePointName 测点名称 否 measurePointCategory 测点目录 否 valueType 数据类型,数据支持integer、double、string、object(josn)类型,用户自行定义。 是 value 数据值,数据支持integer、double、string、object(josn)类型,用户自行定义。 是 eventTime 时间字段,用户可自定义数值。 是 msgVersion 消息版本,必须模板默认值,用户不能修改。 是 数据存储数据源(旧) 数据模板 字段名 字段说明 是否必填 { "header": { "projectId": "092b845deb00d45cxxxxxx1be20fa1", "dataSourceId": "", "pipelineId": "", "dataStoreId": "0264bbad-xxxx-4f5d-xxxx-5d87c1bfaa90" }, "body": { "deviceId": "", "eventTime": "1624503993013", "data": { "integer": "", "double": "", "string": "", "object": { "a": "", "b": "" } } } } header 消息头,必须模板默认值,用户不能修改。 是 projectId 租户id,必须模板默认值,用户不能修改。 是 dataSourceId 数据源id,必须模板默认值,用户不能修改。 是 pipelineId 管道任务id,必须模板默认值,用户不能修改。 是 dataStoreId 数据存储id,必须模板默认值,用户不能修改。 是 body 输入数据,必须包含算子配置的“参数名称”。例如input中包含“integer”字段。 是 deviceId 设备id,用户可自定义。 否 eventTime 时间戳字段,Long类型,用户可自定义数值。 是 data 管道输出字段集合,数据支持integer、double、string、object(josn)类型。用户可自定义data内部字段名和值。 是 父主题: 作业调试
  • 产品过滤 算子简介 名称:产品过滤 功能说明:根据IoT 设备接入服务 (IoTDA)定义产品过滤出指定产品ID的设备数据。此算子仅在数据源为IoTDA时使用。 约束: 只允许跟在IoT设备接入数据源算子之后。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明:算子名称,对算子进行个性化的命名,以辅助增加可读性。支持中文、英文、数字、中划线、下划线,长度小于等于64个字符。 类型:STRING 必选:否 约束:需要符合正则表达式: ^[\u4E00-\u9FA5A-Za-z0-9_-]{1,64}$ IoTDA上的资源空间ID: 配置项英文名:appId 说明:IoTDA上的资源空间ID。 类型:STRING 必选:是 约束:需要符合正则表达式:^.{1,64}$ 产品ID: 配置项英文名:productId 说明:IoTDA上的产品ID。 类型:STRING 必选:是 约束:需要符合正则表达式:^[a-zA-Z0-9][\w_-]{1,64}$ 高级配置项 并行数: 配置项英文名:parallelism 说明:并行数,指定算子执行时的并行任务个数。对于性能要求越高的算子,可以设置较高的并行数,但是占用资源越多。如果此参数不设置,那么作业运行时本算子使用作业的并行数设置。 类型:INTEGER 必选:否 约束:最小值1, 最大值 1024。 父主题: 转换类算子
  • 选择属性 算子简介 名称:选择属性 功能说明:在输入数据中选择保留的属性,未选择的属性被删除。 约束:下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明:算子名称,对算子进行个性化的命名,以辅助增加可读性。支持中文、英文、数字、中划线、下划线,长度小于等于64个字符。 类型:STRING 必选:否 约束:需要符合正则表达式: ^[\u4E00-\u9FA5A-Za-z0-9_-]{1,64}$ 属性: 配置项英文名:properties 说明:属性,以JSON Path格式来指定保留的属性。 类型:STRING 必选:是 约束:需要符合正则表达式: ^.{1,1000}$。 高级配置项 并行数: 配置项英文名:parallelism 说明:并行数,指定算子执行时的并行任务个数。对于性能要求越高的算子,可以设置较高的并行数,但是占用资源越多。如果此参数不设置,那么作业运行时本算子使用作业的并行数设置。 类型:INTEGER 必选:否 约束:最小值1, 最大值 1024。 父主题: 转换类算子
  • 数据存储输出 算子简介 名称: 数据存储输出 功能说明: 数据输出到指定的数据存储。 约束:下游不允许接任何算子。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明: 算子名称,对算子进行个性化的命名,以辅助增加可读性。支持中文、英文、数字、中划线、下划线,长度小于等于64个字符。 类型: STRING 必选: 否 约束: 需要符合正则表达式: ^[\u4E00-\u9FA5A-Za-z0-9_-]{1,64}$ 数据存储: 配置项英文名:dataStore 说明: 数据存储,如果需要把管道输出数据保存,则需要指定存储。如果没有指定存储,管道输出数据则不保存。 必选: 是 子配置项: 数据存储配置包含如下子配置项: 存储组ID、存储组名称、数据存储ID、数据存储名称、数据存储属性。 存储组ID: 配置项英文名:dataStorageGroupId 说明: 指定输出到数据存储的存储组ID,当使用Console进行操作时,该选项会自动填充,因此Console中不显示存储组ID配置项;当使用API时,需要用户自行输入。 类型: STRING 必选: 是 约束: 需要符合正则表达式: ^[a-zA-Z0-9_-][\w-]{0,256}$ 存储组名称: 配置项英文名:dataStorageGroupName 说明: 指定存储组的名称。 类型: STRING 必选: 是 约束: 需要符合正则表达式: ^[-a-zA-Z0-9_\u4E00-\u9FA5 ]{1,64}$ 数据存储ID: 配置项英文名:dataStoreId 说明: 指定某个数据存储,当使用Console进行操作时,该选项会自动填充,因此Console中不显示存储ID配置项;当使用API时,需要用户自行输入。 类型: STRING 必选: 是 约束: 需要符合正则表达式: ^[a-zA-Z0-9_-][\w-]{0,256}$ 数据存储名称: 配置项英文名:dataStoreName 说明: 指定数据存储的名称,若存储ID不存在,则使用该名称创建新的存储。 类型: STRING 必选: 是 约束: 需要符合正则表达式: ^[-a-zA-Z0-9_\u4E00-\u9FA5 ]{1,64}$ 数据存储属性: 配置项英文名:dataStoreProperty 说明: 数据存储属性,这些属性即为管道的输出数据。 必选: 是 子配置项: 数据存储属性配置包含如下子配置项: 设备ID来源、属性。 设备ID来源: 配置项英文名:deviceId 说明: 设备id来源,以JSON Path格式来指定设备ID的获取来源。 类型: STRING 必选: 是 约束: 需要符合正则表达式: ^.{1,1000}$ 属性: 配置项英文名:properties 说明: 管道输出的属性列表,仅在此列表的属性才能输出。 必选: 是 子配置项: 属性配置包含如下子配置项: 属性名称、属性类型、源属性、标签、单位。 属性名称: 配置项英文名:name 说明: 属性名称,对输出属性进行命名。属性名称不允许为deviceId, eventTime, time和sys_前缀,列名不能重复,只能包含数字、字母和下划线,不能以下划线或数字开头,长度为1~64。 类型: STRING 必选: 是 约束: 需要符合正则表达式: ^[a-zA-Z0-9_]{1,64}$。 属性类型: 配置项英文名:type 说明: 属性类型,指定属性的格式类型。类型转换失败时,字段不输出。 类型: STRING 必选: 是 约束: 只支持4种数据类型INTEGER、DOUBLE、STRING、OBJECT。 源属性: 配置项英文名:existingProperty 说明: 源属性,以JSON Path格式来指定源属性,以作为输出属性的取值。 类型: STRING 必选: 是 约束: 需要符合正则表达式: ^.{1,1000}$ 标签: 配置项英文名:tag 说明: 是否作为时序分析的标签。其对应属性的类型必须为STRING,如果属性的类型不STRING,此配置忽略。 类型: STRING 必选: 否,默认为FALSE,即不作为标签。 约束: 只可以是TRUE或FALSE。 单位: 配置项英文名:unit 说明: 指定属性的的单位,仅用于用户填写后传给存储创建DataStore用。 类型: STRING 必选: 否。 约束: 需要符合正则表达式: ^.{1,50}$ 父主题: 输出类算子
  • DIS数据源 算子简介 名称: DIS数据源,IoT数据分析服务仅在华为云部署形态支持DIS数据源。 功能说明: 使用DIS云服务作为pipeline的数据源,从DIS中获取数据。 约束: 下游不允许对接数据源,目前有:IoT设备接入数据源、DIS数据源,及产品过滤算子。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明: 算子名称,对算子进行个性化的命名,以辅助增加可读性。支持中文、英文、数字、中划线、下划线,长度小于等于64个字符。 类型: STRING 必选: 否 约束: 需要符合正则表达式: ^[\u4E00-\u9FA5A-Za-z0-9_-]{1,64}$ 数据源ID: 配置项英文名:datasSourceId 说明: 数据源ID,指定Pipeline作业的IoTDA数据源ID。 数据源ID可以通过数据源接口: /v1/${project_id}/datasources?type=DIS获取。 类型: STRING 必选: 否 约束: 需要符合正则表达式: ^[\u4E00-\u9FA5A-Za-z0-9_-]{1,64}$ 事件时间: 配置项英文名:eventTime 说明: 事件时间,以JSON Path格式来指定事件时间的获取来源。如果没有指定,则使用接受消息时的系统时间作为消息产生的事件时间。 必选: 是 子配置项:事件时间包括如下子配置项:JSON路径、时间样式、时区。 JSON路径: 配置项英文名:jsonPath 说明: 事件时间字段的Json路径,以JSON Path格式来指定事件时间的获取位置。 类型: STRING 必选: 是 约束: 需要符合正则表达式: ^.{1,100}$ 时间样式: 配置项英文名:pattern 说明: 时间格式,事件事件的样例格式,如yyyyMMdd'T'HHmmss'Z'、MM/dd/yyyy hh:mm等。 类型: STRING 必选: 是 约束: 需要符合正则表达式: ^.{1,100}$ 时区: 配置项英文名:timeZone 说明: 时区,以UTC偏移量表示,请填写-12 ~ 12的数字;若不填写,则默认为UTC时间。。 类型: INTEGER 必选: 否,默认为0时区。 约束: 最小值-12, 最大值12。 高级配置项 分配时间戳提取器和水印: 配置项英文名:assignerWithPeriodicWatermarksType 说明: 时间戳分配器,目前提供3种方式,BoundedOutOfOrdernessTimestampExtractor、AscendingTimestampExtractor、IngestionTimeExtractor。 BoundedOutOfOrdernessTimestampExtractor:允许固定时间延迟的分配器,适用于乱序但预先知道或只允许在流中将会遇到的最大延迟的场景。 AscendingTimestampExtractor:递增时间戳的分配器,适用于每个元素(elements)的时间在每个并行任务(parallel task)里是单调递增的场景。 IngestionTimeExtractor:根据获取到数据时的系统时间分配时间戳,适用于无事件时间的场景。 类型: STRING 必选: 否,默认采用 BoundedOutOfOrdernessTimestampExtractor 。 约束:必须为BoundedOutOfOrdernessTimestampExtractor、AscendingTimestampExtractor、IngestionTimeExtractor 之一 。 允许的最大延迟时间: 配置项英文名:maxOutOfOrdernessInSeconds 说明: 允许的最大延迟时间,该配置仅作用于BoundedOutOfOrdernessTimestampExtractor,具体是在EventTime类型窗口中使用。 类型: STRING 必选: 否, 默认为300秒。 约束: 最小值0,最大值3600秒。 启动配置: 配置项英文名:startup 说明: 启动方式,用于配置启动时的配置参数。 必选: 否。 子配置项: 启动配置包括如下子配置项: 启动模式。 启动模式: 配置项英文名:startupMode 说明: Pipeline启动时数据消费模式,GROUP_OFFSETS表示从上次读取到的位置继续读取,LATEST表示读取最新数据,EARLIEST表示读取最旧的数据。 类型: STRING 必选: 否,默认为 GROUP_OFFSETS。 约束: 仅可填写GROUP_OFFSETS、 LASTEST 与 EARLIEST 。 父主题: 输入类算子
  • 数据扁平 算子简介 名称:数据扁平 功能说明:数据扁平算子,把数据流中的嵌套Json字段转换为多个独立字段。 约束:下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明:算子名称,对算子进行个性化的命名,以辅助增加可读性。支持中文、英文、数字、中划线、下划线,长度小于等于64个字符。 类型:STRING 必选:否 约束:需要符合正则表达式: ^[\u4E00-\u9FA5A-Za-z0-9_-]{1,64}$ 扁平字段配置: 配置项英文名:flatFiedConfig 说明:扁平字段配置,配置需要进行扁平处理的字段列表。 必选: 是 子配置项:扁平字段配置包括如下子配置项:源数据路径、字段名称。 源数据路径: 配置项英文名:path 说明:源数据路径,以JSON Path格式来指定变量从消息中指定的JSON Path属性获取的取值。 类型:STRING 必选:是 约束:需要符合正则表达式: ^.{1,1000}$ 字段名称: 配置项英文名:field 说明:字段名称,输出字段的字段名称。如果字段名与上游输入字段名相同,则此字段被重新赋值。 类型:STRING 必选:是 约束:需要符合正则表达式: ^[a-z_A-Z]\w{0,64}$ 高级配置项 并行数: 配置项英文名:parallelism 说明:并行数,指定算子执行时的并行任务个数。对于性能要求越高的算子,可以设置较高的并行数,但是占用资源越多。如果此参数不设置,那么作业运行时本算子使用作业的并行数设置。 类型:INTEGER 必选:否 约束:最小值1, 最大值 1024。 父主题: 转换类算子
  • 存储 存储是保存数据的对象,通常来说,同一种设备的数据会保存在同一个存储中。存储中定义了设备的标签与设备的属性。其中设备ID(deviceId)就是最常用的一种标签(tag)。一个标签包括标签名与标签值,例如设备ID:标签名为 deviceId,而它的标签值则是具体的某个设备ID,设备的ID是通过设备数据上报到IoT数据分析服务而保存下来的。在查询中指定标签名与某个标签值(例如具体的某个设备ID),可以快速地找到对应的设备数据。 创建存储 删除存储 父主题: 存储管理
  • 数据计算 算子简介 名称:数据计算 功能说明:按照表达式进行数值计算,计算的结果赋值给某个属性。举例:原消息中有温度属性,其数值是以摄氏度数值表示,可以通过本算子设置计算公式,将摄氏温度计算转换成华氏度读数再赋予给原来的温度属性,或者可以选择将计算转换后的数值赋予一个新属性。 约束:下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明:算子名称,对算子进行个性化的命名,以辅助增加可读性。支持中文、英文、数字、中划线、下划线,长度小于等于64个字符。 类型:STRING 必选:否 约束:需要符合正则表达式: ^[\u4E00-\u9FA5A-Za-z0-9_-]{1,64}$ 变量: 配置项英文名:variables 说明:变量,把输入消息中的属性作为变量在表达式中使用。对变量进行定义,设置变量名称和变量的取值。 必选:否 子配置项:变量配置包括如下子配置项:变量名称、变量取值。 变量名称: 配置项英文名:variable 说明:变量名称,用户可自定义一个变量名称,计算时使用,以免配置计算表达式时使用jsonPath。 类型:STRING 必选:是 约束:需要符合正则表达式: ^[a-zA-Z]\w{0,20}$ 变量取值: 配置项英文名:value 说明:变量取值,以JSON Path格式来指定变量从消息中指定的JSON Path属性获取的取值。 类型:STRING 必选:是 约束:需要符合正则表达式: ^.{0,1000}$ 计算配置: 配置项英文名:calculates 说明:计算配置,配置属性的计算表达式。 必选:是 子配置项:计算配置包括如下子配置项:属性、表达式。 属性: 配置项英文名:property 说明:属性名,表示计算表达式所计算的结果赋予的对象。 用户可以选择消息中已有的某个属性,或者自行输入新的内容,该内容需要满足Json path语法的要求 。 类型:STRING 必选:是 约束:需要符合正则表达式: ^.{1,1000}$ 表达式: 配置项英文名:expression 说明:计算表达式,支持的表达式详细说明请参考:表达式说明。 类型:STRING 必选:是 约束:需要符合正则表达式: ^.{0,1000}$ 高级配置项 并行数: 配置项英文名:parallelism 说明:并行数,指定算子执行时的并行任务个数。对于性能要求越高的算子,可以设置较高的并行数,但是占用资源越多。如果此参数不设置,那么作业运行时本算子使用作业的并行数设置。 类型:INTEGER 必选:否 约束: 最小值1, 最大值 1024。 父主题: 转换类算子
  • 运行数据管道 数据管道编辑完成后,若存在错误,作业状态会变成”草稿”态,请检查作业配置;若不存在错误,作业状态会变为“就绪“态,表示该作业可以运行,如图所示: “就绪”态的作业即可运行:在“管理列表页”点击作业卡片,进入“作业详情页”,然后点击右上角的红色按钮“启动作业“。 启动作业时,系统会自行判断用户的作业是否需要实时计算资源,若需要实时计算资源,则会弹出如下对话框供用户自行选择: 计算资源:一个计算资源对应的物理资源为:1核CPU、4G内存,可实时清洗的数据量为1000条/S(仅供参考,请结合各自的业务场景与数据大小进行评估)。 并行数:管道作业运行时的实际并发能力,不得超过“计算资源 - 1”的4倍。 父主题: 运行数据管道