华为云首页用户手册

IoT数据分析 IoTA-DIS数据源

IoT数据分析 IoTA-DIS数据源

时间：2025-01-14 15:37:54

IoT数据分析 IoTA

DIS数据源

算子简介

名称： DIS数据源，IoT数据分析服务仅在华为云部署形态支持DIS数据源。
功能说明：使用DIS云服务作为pipeline的数据源，从DIS中获取数据。
约束：下游不允许对接数据源，目前有：IoT设备接入数据源、DIS数据源，及产品过滤算子。

算子配置

基础配置项

算子名称：

配置项英文名：name

说明：算子名称，对算子进行个性化的命名，以辅助增加可读性。支持中文、英文、数字、中划线、下划线，长度小于等于64个字符。
类型： STRING
必选：否
约束：需要符合正则表达式： ^[\u4E00-\u9FA5A-Za-z0-9_-]{1,64}$

数据源ID：

配置项英文名：datasSourceId

说明：数据源ID，指定Pipeline作业的IoTDA数据源ID。
数据源ID可以通过数据源接口： /v1/${project_id}/datasources?type=DIS获取。
类型： STRING
必选：否
约束：需要符合正则表达式： ^[\u4E00-\u9FA5A-Za-z0-9_-]{1,64}$

事件时间：

配置项英文名：eventTime

说明：事件时间，以JSON Path格式来指定事件时间的获取来源。如果没有指定，则使用接受消息时的系统时间作为消息产生的事件时间。
必选：是
子配置项：事件时间包括如下子配置项：JSON路径、时间样式、时区。

JSON路径：

配置项英文名：jsonPath

说明：事件时间字段的Json路径，以JSON Path格式来指定事件时间的获取位置。
类型： STRING
必选：是
约束：需要符合正则表达式： ^.{1,100}$

时间样式：

配置项英文名：pattern

说明：时间格式，事件事件的样例格式，如yyyyMMdd'T'HHmmss'Z'、MM/dd/yyyy hh:mm等。
类型： STRING
必选：是
约束：需要符合正则表达式： ^.{1,100}$

时区：

配置项英文名：timeZone
说明：时区，以UTC偏移量表示，请填写-12 ~ 12的数字；若不填写，则默认为UTC时间。。
类型： INTEGER
必选：否，默认为0时区。
约束：最小值-12，最大值12。

高级配置项

分配时间戳提取器和水印：

配置项英文名：assignerWithPeriodicWatermarksType

说明：时间戳分配器，目前提供3种方式，BoundedOutOfOrdernessTimestampExtractor、AscendingTimestampExtractor、IngestionTimeExtractor。
- BoundedOutOfOrdernessTimestampExtractor：允许固定时间延迟的分配器，适用于乱序但预先知道或只允许在流中将会遇到的最大延迟的场景。
- AscendingTimestampExtractor：递增时间戳的分配器，适用于每个元素(elements)的时间在每个并行任务(parallel task)里是单调递增的场景。
- IngestionTimeExtractor：根据获取到数据时的系统时间分配时间戳，适用于无事件时间的场景。
类型： STRING
必选：否，默认采用 BoundedOutOfOrdernessTimestampExtractor 。
约束：必须为BoundedOutOfOrdernessTimestampExtractor、AscendingTimestampExtractor、IngestionTimeExtractor 之一。

允许的最大延迟时间：

配置项英文名：maxOutOfOrdernessInSeconds

说明：允许的最大延迟时间，该配置仅作用于BoundedOutOfOrdernessTimestampExtractor，具体是在EventTime类型窗口中使用。
类型： STRING
必选：否，默认为300秒。
约束：最小值0，最大值3600秒。

启动配置：

配置项英文名：startup

说明：启动方式，用于配置启动时的配置参数。
必选：否。
子配置项：启动配置包括如下子配置项：启动模式。

启动模式：

配置项英文名：startupMode

说明： Pipeline启动时数据消费模式，GROUP_OFFSETS表示从上次读取到的位置继续读取，LATEST表示读取最新数据，EARLIEST表示读取最旧的数据。
类型： STRING
必选：否，默认为 GROUP_OFFSETS。
约束：仅可填写GROUP_OFFSETS、 LASTEST 与 EARLIEST 。

父主题： 输入类算子

上一篇：IoT数据分析 IoTA-数据源--添加DIS数据源:操作步骤

下一篇：IoT数据分析 IoTA-调试概述

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

IoT数据分析 IoTA-DIS数据源

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题