检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据管道功能,通过图形化拖拽方式即可在数据管道中完成数据清洗、数据格式转换、数据流转控制等操作,为后序环节提供高质量的数据输入。 公测 数据管道 2020年2月 序号 功能名称 功能描述 阶段 相关文档 1 IoT数据分析服务新增特性上线公测 IoT数据分析支持资产建模,实时分析,时序分析功能。
实时分析输出 算子简介 将经过数据管道清洗后的数据输出到实时分析,作为实时分析的数据来源。 算子配置 算子配置项如图所示: 算子名称:用户指定这个算子的名称。 管道输出数据名称:用户声明这个输出的名称,以便在实时分析作业的“管道数据输入”算子中使用。 属性:用户选择需要将哪些属性输出给实时分析进行后续的分析任务。
超时插补 算子简介 名称: 超时插补 功能说明: 提供基于时间的数据插补功能。时间支持延迟等待时长,以及指定固定时间点。插补数据为上一条实际数据,但是事件时间为插补计算出的时间。 约束: 下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称: 配置项英文名:name
每存储存储标签数量 5个 每存储存储属性数量 300个 每租户实时分析作业个数 100个 每租户数据管道作业个数 100个 每租户API数据查询接口性能 50TPS 每租户IoTDA数据源接入数据性能 50TPS
“warning”、“incident”,只可选择其中一项。 时间范围:可选择查询最近七天内任意时间段的操作事件。 展开需要查看的事件,查看详细信息。 图1 展开记录 在需要查看的记录右侧,单击“查看事件”,弹窗中显示了该操作事件结构的详细信息。 更多关于云审计的信息,请参见《云审计服务用户指南》。
服务器相关的操作事件,便于日后的查询、审计和回溯。 前提条件 已开通云审计服务。 支持审计的关键操作列表 表1 数据源支持审计的关键操作列表 操作名称 资源类型 事件名称 创建数据源 datasource createDataSource 修改数据源 datasource updateDatasource
算子简介 名称:产品过滤 功能说明:根据IoT设备接入服务(IoTDA)定义产品过滤出指定产品ID的设备数据。此算子仅在数据源为IoTDA时使用。 约束: 只允许跟在IoT设备接入数据源算子之后。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明:算子名称,对算子进行个
删除属性 算子简介 名称:删除属性 功能说明:从数据中删除指定的属性。 约束:下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明:算子名称,对算子进行个性化的命名,以辅助增加可读性。支持中文、英文、数字、中划线、下划线,长度小于等于64个字符。
IoTDA 实时数据源(IoT 设备接入云服务)或者其它数据源,请参照“IoT数据分析> 用户指南> 数据源配置”添加数据源。 2、未创建数据管道,或者数据管道未运行,请参照“IoT数据分析> 用户指南> 数据管道> 创建数据管道”配置管道。 3、IoTDA 实时数据源中未配置对应
进入实时分析 图2 查看作业 图3 新建作业 参数说明 参数名称 描述 示例 接收数据类型 接收数据类型有“管道数据”、“资产数据”。 管道数据:直接使用数据管道清洗后的数据进行实时分析,当您无需资产建模,直接使用设备数据进行实时分析时,可使用这种接收数据类型。 资产数据:使用资产模型
同一时刻上报多条数据到资产属性上是怎么处理的? 处理原则:资产ID、标签属性值、时间戳用于唯一确定一条属性数据。 例如:上报两次数据到同一个资产的同一个属性,如果没有配置标签属性或者同时上报了一样的标签属性值,且上报的时间戳一样,则最终只会保留一条数据到系统。 如果有转换计算类型
资产建模主要有2部分功能:模型管理、资产管理。 模型管理 在资产模型管理页,您可以对资产模型进行创建、修改、删除、查询等操作。 图1 模型管理 资产管理 在资产管理页,您可以对资产进行创建、修改、删除、查询等操作。 图2 资产管理 资产管理有工作台和监控两个工具,工作台用于构建资产的草稿态,在草稿态
用户首次进入IoT数据分析服务控制台后,将会自动开通IoT数据分析服务。 图1 总览页面 基础配置 为了能够开始正常使用IoT数据分析服务,需要用户完成如下基础配置: 1. 配置数据源:通过配置数据源,将待分析的数据注入IoT数据分析服务。用户可以根据自己的情况选择不同类型的数据源配置。具体内容可参考
算子使用指南 输入类算子 输出类算子 转换类算子 表达式说明 父主题: 数据管道
下载数据模板 点击下载测试模板。 不同的输入算子的测试模板内容格式会不一样,建议在模板的基础上添加测试数据。 修改数据模板 删除多余不需要的数据,写入业务数据内容。参考数据模板章节。 测试数据文本支持UTF-8编码。 测试数据必须是合法Json格式,且不换行。 测试数据文本可写
面。 创建数据管道 数据管道是数据分析的基础功能,对进入数据分析的数据进行格式标准化、清洗等数据预处理。点击图标即可进入数据管道配置界面。 配置存储 数据的存储是数据分析的基础,点击图标即可进入存储配置界面。 资产建模 根据您的业务场景创建相应的数字资产模型,并基于该模型进行后续
IoT数据分析服务是以物联网资产模型为中心的分析服务,不同于公有云上的通用型大数据相关产品,IoT数据分析服务与资产模型深度整合,在相关数据分析作业的定义中,开发者可以方便引用物联网的模型数据,大大提升数据分析的效率。 一站式开发体验 大数据开发技术门槛较高,而IoT数据分析服务
如何创建和修改存储 在数据管道编辑中,添加“数据存储输出”算子,可以创建存储管理中的存储。修改存储也是在数据管道中,通过编辑“数据存储输出”算子,可以修改存储的字段。如下图: 父主题: 时序分析常见问题
输出类算子 数据存储输出 DIS输出 实时分析输出 父主题: 算子使用指南
1、存储中除了deviceId,没有其它标签。可以在存储管理中,点击对应的存储查看标签: 打开存储管理页面,展开存储组。 点击对应的存储名称。 检查是否存在除了 deviceId 外的其它标签。若不存在,请根据需要在数据管道中,通过编辑“数据存储输出”算子增加: 针对已存在的属性增加标签:先删除需要