检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
输入作业名称,描述,选择数据源“IoTDA”类型,单击“确定”进入作业编辑页面。 此处所选择数据源需要预先创建,即在前面已完成IoTDA服务授权配置。 进入管道作业编辑页面,系统默认为作业配置了“IoT设备接入数据源“,“产品过滤”,“数据存储输出” 3个算子,如下图所示。
登录华为云,搜索“IoTA”,在产品主页单击“立即使用”,进入IoTA服务Console页面,此时会自动开通IoTA服务。 设备管理服务授权配置 完成IoTDA服务授权配置 详细操作请参考 数据源--添加IoTDA实时数据源。
流程介绍 图1 流程介绍 配置数据源 数据分析服务会将数据源的数据存储并进行后续分析。点击图标即可进入数据源配置界面。 创建数据管道 数据管道是数据分析的基础功能,对进入数据分析的数据进行格式标准化、清洗等数据预处理。点击图标即可进入数据管道配置界面。
为了节约用户成本,在启动作业时,系统自行对作业的复杂度进行了检查,如果作业仅包含“IoT设备接入数据源”、“产品过滤 ”、“数据存储输出”3种算子时,不需要单独的计算资源。 父主题: 管道作业常见问题
是 dataSourceId 数据源id,必须模板默认值,用户不能修改。 是 body 数据体字段,必须是json格式,格式不能修改。
启动管道作业 功能介绍 提交管道作业到运行环境,实时接收数据源的数据并按用户定义的数据清洗逻辑对数据进行处理。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
约束:下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明:算子名称,对算子进行个性化的命名,以辅助增加可读性。支持中文、英文、数字、中划线、下划线,长度小于等于64个字符。
约束:下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明: 算子名称,对算子进行个性化的命名,以辅助增加可读性。支持中文、英文、数字、中划线、下划线,长度小于等于64个字符。
是否展示输出数据 输入类算子 IoT设备接入数据源 IoTDASource 是 否 是 API接入数据源 APISource 是 否 是 DIS数据源 DISSource 否 否 否 转化类算子 增加属性 AddProperties 是 是 是 数据计算 Calculate 是
约束:下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明:算子名称,对算子进行个性化的命名,以辅助增加可读性。支持中文、英文、数字、中划线、下划线,长度小于等于64个字符。
必选: 是 子配置项:扁平字段配置包括如下子配置项:源数据路径、字段名称。 源数据路径: 配置项英文名:path 说明:源数据路径,以JSON Path格式来指定变量从消息中指定的JSON Path属性获取的取值。
约束: 下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明: 算子名称,对算子进行个性化的命名,以辅助增加可读性。支持中文、英文、数字、中划线、下划线,长度小于等于64个字符。
约束:下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明:算子名称,对算子进行个性化的命名,以辅助增加可读性。支持中文、英文、数字、中划线、下划线,长度小于等于64个字符。
约束:下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明:算子名称,对算子进行个性化的命名,以辅助增加可读性。支持中文、英文、数字、中划线、下划线,长度小于等于64个字符。
工作原理: 启动测试模式后,输入类算子从数据源读取数据,将数据发送到下游的转化类算子,最终专递到输出类算子。调试工具会在每个算子的输入输出端监听数据流,最终将监听收集到的数据在页面进行展示。我们可以根据算子的输入输出数据定位以上我们所遇到的问题。
√ x √ x 创建数据源 √ x √ x 删除数据源 √ x √ x 修改数据源 √ x √ x 查询数据源列表 √ √ √ √ 查询数据源详情 √ √ √ √ 验证数据源的连通性 √ √ √ √ 获取用户的访问权限 √ √ √ √ 获取资产列表 √ √ √ √ 获取资产详情
用户可在数据源类型选择对应数据源;下载对应数据源的测试数据模板文本并修改数据内容;最后上传测试数据文本。 数据监控 数据监控也是查看数据处理结果的查询页面。页面查看方式包括单算子查询和多算子查询。 单算子查询 下拉“算子”下拉框选择查看“数据计算”。
在IoTA Console控制台左侧导航树上,点击“数据源”,然后在右侧点击“IoTDA 实时数据源”,在下方的数据源中,点击右侧的“编辑”按钮,如下图所示: 打开数据源的配置页签,查看相关的产品是否已经勾选订阅,如果未勾选,请勾选后,点击确认按钮。
支持审计的关键操作列表 表1 数据源支持审计的关键操作列表 操作名称 资源类型 事件名称 创建数据源 datasource createDataSource 修改数据源 datasource updateDatasource 删除数据源 datasource deleteDataSource
用户可在数据源类型选择对应数据源;下载对应数据源的测试数据模板文本并修改数据内容;最后上传测试数据文本。 数据监控 数据监控也是查看数据处理结果的查询页面。页面查看方式包括单算子查询和多算子查询。 单算子查询 下拉“算子”下拉框选择查看“数据过滤”。